📍 WDQWDWQD987AAAAA:114.119.133.192
📱 Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (HTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)
🔗 /5704212a6886.html
📄

robots.txt：功能开关导致页面变化时怎样记录版本状态

当功能开关让同一路径在“可用”和“停用”之间切换时，robots.txt 的记录重点不是写一条永久规则，而是把开关状态、路径归属和变更时间对应起来。建议给每条受影响路径建立“状态—规则—证据”三元记录：先判断该路径是保留、改写还是退出，再决定对应的抓取规则，最后留下可复查的版本快照。只改 robots.txt 而不记录开关上下文，后续很难解释某次抓取限制到底是临时状态还是长期决策。

先判断路径属于保留、改写还是退出

功能开关变化通常意味着页面价值发生变化，但变化方向并不统一。保留的路径是开关关闭后内容仍对用户有意义，只是入口暂时隐藏；改写的路径是同一 URL 需要换成新内容或新模板；退出的路径是内容已无价值，且没有替代承接页。

三种判断对应不同的 robots.txt 处理前提：

• 保留：路径仍可被抓取，规则不变，只在版本记录里标注“开关关闭但页面保留”。适合内容仍有搜索需求、只是暂时不展示入口的情况。
• 改写：路径继续可抓取，但要记录内容替换的时间点，避免旧快照和新内容长期并存造成判断混乱。
• 退出：可以考虑用 Disallow 限制抓取，但必须清楚这只是抓取限制，不等于可靠的索引移除。已经收录的 URL 仍可能出现在结果中，需要配合其他信号处理。

把这三类混在一起写进同一条规则，是版本记录失效的常见原因：开关一恢复，没人说得清哪条规则该撤、哪条该留。

版本记录要包含哪些字段

一份能支撑回退决策的记录，至少应包含以下字段，且每个字段都要能在事后复查：

1. 路径或路径组：写明具体前缀，避免用“相关页面”这类模糊描述。
2. 功能开关状态：开、关，以及状态生效的时间点。
3. 保留、改写或退出的判定：附一句判定理由，例如“内容仍有独立搜索需求”。
4. 对应的 robots.txt 规则：记录完整规则行，而不只是“已限制”。
5. 证据位置：抓取日志、站点地图状态、索引状态检查结果的存放位置。

这里有一个实际动作值得固定下来：每次改 robots.txt 前，先导出当前文件并连同上述字段存为一个版本快照。这样做的直接结果是，当开关回滚时，你能按快照恢复规则，而不是凭记忆重写。下一步的判定也因此有据可依——对比两个版本的抓取日志差异，而不是只看规则本身。

一个假设例子：开关关闭后规则怎么记

假设某站有一个路径组 /promo/，由功能开关控制是否对外展示。开关关闭后，团队判断其中一部分页面仍有搜索价值，另一部分已无承接内容。可以这样记录：

• 对仍有价值的路径，robots.txt 保持不变，版本记录中标注“开关关闭、页面保留、规则未变”。
• 对无承接内容的路径，写入 Disallow: /promo/old- 这类前缀规则，并记录判定理由和生效时间。

需要假设的前提是：这些路径此前已被抓取过。在这种前提下，即使加了 Disallow，已收录的 URL 也可能继续出现一段时间，抓取量下降并不能单独证明处理正确——它也可能是抓取预算转移、站点整体抓取波动或日志采样口径变化造成的。因此版本记录里要同时保留索引状态检查结果，用它和抓取日志互相印证，而不是把任一指标的归零当作结论。

回退时先看什么，再决定改不改

开关恢复后，不要立刻删除限制规则。先按版本快照对比三项证据：开关状态是否真的恢复、目标路径是否已能正常返回内容、抓取日志中该路径是否重新出现请求。

如果路径已恢复且内容正常，可以撤销对应的 Disallow，并在新版本中记录撤销原因；如果路径恢复但内容尚未就绪，保留限制反而更稳妥，避免抓取到空页面或占位内容。站点地图可以作为辅助信号，但它不保证收录，所以不能因为提交了站点地图就认为路径已被正确处理。

整个流程的核心是：让每一次 robots.txt 改动都能追溯到某个开关状态和某个保留、改写或退出的判定。做到这一点，版本记录才不只是文件备份，而是能支撑下一步决策的状态档案。