死链工具，测试环境与线上怎样对照
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8f45be784343.html
📄
死链工具，测试环境与线上怎样对照
死链工具在测试环境和线上环境跑出不同结果，通常不是工具本身出错，而是两边被扫描的页面集合、链接来源和访问权限不同。正确做法是先把“要对照什么”固定下来：同一批URL清单、同一套爬取规则、同一时间窗口，再比较差异。否则测试环境报告里的死链，可能只是线上还没发布的草稿链接；线上报告里的死链，也可能只是测试环境没有同步的跳转规则。
先分清两个环境里“死链”指的不是一回事
测试环境常见的情况是：页面能打开，但它引用的图片、CSS、JS或跳转目标指向线上域名或另一个内部域名。死链工具把这类跨环境地址当成404或超时，报告就会失真。线上环境则相反，页面本身可能正常，但某个历史链接、旧活动页或外链入口已经返回404或410。
所以对照前要先确认三件事：扫描入口是否相同、链接是否允许被爬、返回状态码是否来自同一层（CDN、反向代理还是应用本身）。这三项任何一项不同，两份报告都不具备直接可比性。
用同一批URL做对照，而不是各扫各的
可执行的做法是：从线上站点地图、导航和主要栏目页导出一份URL清单，作为基准清单。测试环境只扫描这份清单对应的测试地址，不额外扫描测试环境独有的草稿、预览或临时页面。然后分别记录每个URL的HTTP状态码、最终跳转地址和响应时间。
- 导出线上基准URL，保存为纯文本，每行一个地址。
- 把域名替换为测试环境域名，生成测试清单；无法一一对应的URL单独标记。
- 用死链工具分别扫描两份清单，导出状态码和跳转链。
- 按“路径”而不是“完整域名”对齐结果，比较状态码差异。
判断结果时：如果同一路径在测试环境返回200、线上返回404，优先检查线上是否有重写规则、大小写敏感或尾部斜杠差异；如果测试环境返回404、线上返回200，可能是测试环境缺少对应内容或未同步跳转配置。若两边都返回404，才更可能是链接本身已经失效。
robots.txt、登录态和跳转链会改变扫描结果
robots.txt 的抓取限制不等于可靠的索引移除，也不等于死链工具一定不会访问。不同工具对robots.txt的遵守方式不同：有的跳过被禁止路径，有的仍会请求但不报告。测试环境常整体禁止抓取，这时扫描结果可能大量缺失，不能直接和线上对比。
另外，登录态、IP白名单、地域限制和CDN缓存都会造成同一URL在两个环境返回不同状态。遇到这类差异，先手动用curl -I或浏览器开发者工具请求一次，确认状态码来源，再决定是否算作死链。不要仅凭工具报告就批量删除或改写链接。
把对照结果落到可执行的修复清单
对照完成后，建议按下面三类处理，而不是直接全量替换：
- 两边都404：确认目标页面是否已下线。若已下线，改为410或指向最相关的新页面；若只是路径写错，修正链接。
- 仅线上404：检查线上重写规则、大小写、尾斜杠、CDN缓存和发布状态，先修复配置再复扫。
- 仅测试环境404：确认测试数据、跳转配置或资源域名是否缺失，避免把测试环境问题当成线上故障。
修复后不要只复扫一次就结束。把基准URL清单保留下来，每次发布前后各扫一次，比较新增和消失的死链数量，才能判断改动是否真正生效。适用条件是：站点结构相对稳定、URL清单可导出；如果站点有大量个性化参数或登录后内容，应先限定扫描范围，否则对照结果会混入大量无关差异。
下一步：从线上导出基准URL清单，替换域名生成测试清单，用同一死链工具分别扫描，先只比较两边都返回404的路径。
