死链检测方法：一次小流量灰度如何暴露全量发布的例外
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a233d67fa324.html
📄
死链检测方法：一次小流量灰度如何暴露全量发布的例外
小流量灰度能暴露全量发布中因样本偏差而隐藏的例外，但前提是灰度路径必须与全量路径共享同一套链接生成逻辑。如果灰度只覆盖主站模板而全量还包括旧版页面、活动子目录或外链跳转，灰度通过并不等于全量安全。更稳妥的做法是：先按链接来源分层抽样，用灰度验证分层规则，再决定全量检测的覆盖顺序。
灰度通过却全量报错，通常差在链接来源分层
死链检测方法的核心不是检测工具本身，而是检测对象是否覆盖了所有链接生成路径。小流量灰度常见于发布前验证，它只抓取一小部分页面，却可能恰好绕开了最容易出错的路径。例如，新版模板生成的站内链接正常，但旧版文章页中的相关推荐仍指向已下线的栏目，全量发布时这部分才被搜索引擎或用户触发。
判断灰度是否有效，可以看两个条件：第一，灰度样本是否按链接来源分层，而不是按URL随机抽取；第二，灰度路径与全量路径是否共用同一套路由或模板。若两个条件都满足，灰度结果对全量有参考价值；若只满足第一个，灰度能发现部分例外，但无法保证覆盖所有旧路径。
两种合理做法：按URL抽样与按链接来源抽样
假设一个站点有首页、栏目页、文章页和活动页四类页面，链接来源包括导航、正文、相关推荐和站点地图。按URL随机抽样可能抽到大量文章页，而活动页只占少数，导致活动页中的死链被遗漏。按链接来源抽样则先统计每类来源的链接数量，再按比例分配检测配额。
- 按URL抽样：适合页面结构统一、链接来源单一的站点。代价是当某类页面占比很低但死链风险很高时，容易被忽略。
- 按链接来源抽样：适合多模板、多栏目、存在旧版页面的站点。代价是需要先梳理链接来源清单，前期投入更高。
选择条件可以简化为：如果近三个月内没有新增模板或栏目，按URL抽样足够；如果存在旧版页面、活动子目录或第三方跳转，优先按链接来源抽样。动作上，先导出站点地图和导航中的链接，再与正文中的内链对比，找出只出现在正文中的链接集合，这部分往往是灰度最容易漏掉的例外。
一个反例：灰度样本全绿，全量仍出现死链
假设某次灰度只检测了首页和最新十篇文章，所有链接返回正常。全量发布后，用户访问一篇两年前的文章，其正文中引用的旧版下载页已返回404。这个反例说明：灰度样本没有覆盖旧版文章中的正文链接，而这类链接不在导航和站点地图中，检测工具默认抓取范围可能不包含它们。
这个反例成立的条件是：站点存在历史内容且历史内容中的链接未被统一清理。如果站点所有旧内容都已重定向或删除，灰度与全量的差异会小很多。因此，灰度前需要确认历史内容是否纳入检测范围，而不是默认全量发布后搜索引擎会自行发现。
全量发布前，用分层检测替代一次性全站扫描
全站扫描耗时且容易触发服务器限流，分层检测更实用。具体动作：先按链接来源建立四个集合——导航链接、正文内链、相关推荐、站点地图。对每个集合分别抽样，灰度阶段只检测每个集合中最近变更的页面。全量发布后，再对未覆盖的集合做补充检测。
这个动作的结果会影响下一步：如果某个集合在灰度中零死链，但该集合的页面数量很大，不能直接推断全量无死链，只能说明该集合的抽样部分正常。下一步应扩大该集合的抽样比例，或改用增量检测，只对比发布前后链接差异。反之，如果某个集合在灰度中出现死链，应优先修复该集合的生成逻辑，而不是逐个替换URL。
灰度暴露例外后，先修规则再补检测
当灰度发现某类链接集中报错，说明问题出在链接生成规则或数据源，而不是单个URL。此时继续扩大检测范围只会重复报错。合理顺序是：先定位规则，再修复规则，最后用同一套分层抽样复检。复检时仍需保留灰度样本与全量样本的差异记录，避免下次发布重复踩坑。
需要说明的是，robots.txt中的抓取限制不等于可靠的索引移除，站点地图也不保证收录。灰度检测的目标是发现链接可达性问题，而不是替代搜索引擎的抓取判断。不同搜索引擎对链接发现和索引的处理存在差异，必要时应分别核查。
最终决策可以归结为：如果站点链接来源单一且历史内容已清理，按URL抽样加全量扫描即可；如果站点存在多模板、旧版页面或活动子目录，先按链接来源分层，用灰度验证分层规则，再决定全量检测的覆盖顺序。这样做的代价是前期梳理成本更高，但能减少全量发布后才发现例外的情况。
