📍 WDQWDWQD987AAAAA:216.73.216.226
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /eb26defdb6f5.html
📄

如何检查网站死链哪些常见误解会导致误操作

检查网站死链时，最常见的误操作来自把“返回非200”直接等同于“必须删除”、把robots.txt屏蔽当成移除索引、把站点地图当成收录保证，以及在批量替换链接前没有先抽样验证。正确做法是先分类、再验证、后处理：区分内链与外链、区分404与软404、区分抓取限制与索引移除，任何批量修改前都用少量样本确认跳转和内容匹配。

先分清死链类型，再决定是否处理

死链不是单一状态。服务器返回404、410、500，页面返回200但内容为空（软404），以及链接指向已迁移页面，处理方式不同。误把500当死链删除，会掩盖服务器故障；误把软404当正常页，会让用户和爬虫进入空内容页。

• 要查什么：每个链接的HTTP状态码、最终跳转地址、页面标题与正文是否与目标主题一致。
• 怎么查：用浏览器开发者工具的网络面板查看单条链接，或用爬虫工具导出全站链接状态；对疑似软404的页面，检查返回码是否为200但正文长度异常短。
• 结果说明什么：404/410通常表示目标不存在；301/302表示已跳转，需确认跳转终点是否相关；500表示服务器错误，应先修服务而非删链接。

robots.txt限制不等于移除索引

robots.txt只控制爬虫能否抓取，不控制已收录页面是否从搜索结果移除。把死链所在目录写进robots.txt，可能让爬虫无法发现该页已404，反而延迟清理。若目标是移除索引，应让页面返回404或410，或使用noindex，而不是只靠robots.txt。

• 要查什么：robots.txt中是否屏蔽了含死链的路径，以及这些路径是否仍出现在搜索结果中。
• 怎么查：直接访问/robots.txt查看规则；在搜索引擎中用site:加具体路径观察是否仍有收录。
• 结果说明什么：若页面仍被收录但被robots.txt屏蔽，爬虫可能无法读取noindex，移除会更慢；此时优先恢复可抓取并返回正确状态码。

站点地图和HTTPS不能替代死链检查

站点地图列出的是希望被发现的URL，不保证这些URL可访问，也不保证被收录。HTTPS只表示传输加密，不保证页面内容有效或没有死链。把站点地图提交成功当作死链已解决，是常见误判。

• 要查什么：站点地图中的URL是否全部返回200，以及站内链接是否与站点地图一致。
• 怎么查：抽取站点地图中若干URL逐一访问，或让爬虫从首页出发对比可抓取链接与站点地图列表。
• 结果说明什么：站点地图含404，说明地图本身需要更新；站内可抓取链接多于地图，说明地图不完整，但不代表这些链接都是死链。

批量替换前必须做的抽样验证

发现死链后直接全站替换，可能把正常链接误改，或把旧链接统一跳到一个不相关页面。应先抽样确认跳转目标与原链接主题一致，再决定是修复、重定向还是保留404。

1. 要查什么：同一死链在导航、正文、页脚中是否指向同一目标，以及是否有多个页面引用它。
2. 怎么查：用爬虫导出引用该URL的页面列表，随机抽取3至5个页面，手动点击确认上下文。
3. 怎么查：对准备重定向的目标页，检查其标题、正文是否覆盖原链接意图。
4. 结果说明什么：若目标页主题偏离，重定向会制造新的用户体验问题；此时应修复原页或返回410，而不是强行跳转。

可执行检查清单

• 查状态码：逐条访问或爬取，记录404、410、500、301、302。结果用于区分删除、修复和跳转。
• 查软404：返回200但正文极短或标题为空的页面，标记为待确认。结果说明可能需要补充内容或改为404。
• 查robots.txt：确认是否屏蔽了死链路径。结果说明移除索引是否被阻碍。
• 查站点地图：对比地图URL与实际可访问URL。结果说明地图是否需要更新。
• 查引用来源：列出每个死链被哪些页面引用。结果说明修复范围，避免只改一处。
• 查跳转终点：对每个301/302，确认终点主题相关且返回200。结果说明跳转是否有效。
• 查批量操作：替换前抽样3至5条，确认规则不会误伤正常链接。结果说明能否安全执行全量修改。

下一步：从当前项目中选一个已知404链接，按上述清单记录状态码、引用页面和跳转终点，再决定修复、重定向或保留404，而不是直接全站删除。