先给结论:源站正常只说明回源那一层没问题,边缘节点返回给百度蜘蛛的内容可能已经不同。此时最该保留的不是“源站截图”,而是边缘节点在无缓存、带缓存、不同 UA 三种情况下返回的原始响应,以及能证明这些响应发生在哪台节点、哪个时间点的记录。没有这些证据,后续无论清理缓存、切节点还是提交改版,都只能靠猜。
源站正常通常指直接访问源站 IP 或用回源工具请求时,返回 200 且正文完整。它能证明后端程序、数据库和源站配置本身没有明显故障,但不能证明 CDN 或边缘节点把同样的内容交给了百度蜘蛛。边缘层常见的偏差包括:缓存了旧版本页面、对特定 UA 返回验证页、压缩或转码时截断正文、把 404 缓存成 200、节点间配置未同步。
所以判断方向要从“源站是否好”转到“边缘返回是否与源站一致”。只要边缘返回与源站不一致,百度收录问题就可能在源站完全健康的情况下发生。
第一类是边缘节点的原始响应。用命令行请求边缘 IP 并指定 Host,分别记录不带缓存头和带缓存头两次的结果,保留完整响应头与正文前若干行。响应头里的缓存命中状态、Age、回源标记、内容长度,是判断“是否命中旧缓存”的关键。
第二类是UA 差异对比。同一 URL 分别用普通浏览器 UA 和百度蜘蛛 UA 请求,若两者返回不同状态码或不同正文,说明边缘层存在按 UA 分流。这个对比必须保留原始输出,而不是只记一句“蜘蛛看到的不一样”。
第三类是节点与时间标注。同一次排查至少覆盖两个不同边缘节点,记录每个节点对应的 IP、请求时间和返回摘要。如果只有一个节点异常,问题多半在节点缓存或局部配置;如果多个节点都异常,方向应转向全局缓存规则或回源策略。
第四类是可复查的对照样本。选一个源站正常且边缘也正常的 URL 作为对照,和异常 URL 用同样的请求方式、同样的 UA 各跑一遍。对照样本能排除“是不是所有页面都这样”的误判。
假设某栏目已更新,源站直接请求返回新标题,但边缘节点返回的是三天前的旧标题。此时保留的证据应包含:源站直连响应、边缘无缓存请求响应、边缘带缓存请求响应、两个不同节点各一份、以及百度蜘蛛 UA 下的返回。若带缓存请求返回旧内容而无缓存请求返回新内容,基本可定位为缓存未刷新;若两者都返回旧内容,则要查回源规则是否把蜘蛛流量导向了旧源。
下一步动作取决于这个分界:确认是缓存问题,就先对异常 URL 做定向刷新,再用同样的请求方式复测同一节点,看返回是否收敛到源站版本。复测结果决定是继续观察还是升级到全局缓存策略调整。如果复测后节点仍返回旧内容,说明刷新没有生效,问题不在缓存过期时间,而在节点配置或回源链路,此时继续刷缓存只是重复劳动。
保留适用于边缘返回与源站一致、只是百度侧尚未更新收录的情况。前提是你能用同一套证据证明边缘输出正常,此时动作是等待并保留时间线,而不是反复改配置。
改写适用于边缘节点确实返回了错误内容,但错误集中在少数 URL 或单一节点。前提是异常范围可枚举,能对具体 URL 做定向处理并逐条复测。范围不可枚举时,改写会变成无底洞。
退出适用于边缘节点长期返回与源站不一致、且刷新与配置修正都无法收敛的情况。这里的退出指把该 URL 或该路径从边缘缓存策略中摘出,直接回源或换用另一条链路。前提是你已经保留了足够证据,能说明不是源站问题,否则退出只是把故障点挪走。
只截一张浏览器图不算证据,因为浏览器可能命中本地缓存,也无法体现 UA 差异。只记录状态码不记录正文也不算,因为 200 也可能返回验证页或错误模板。把 robots.txt 的抓取限制当成索引移除手段是另一类误区,它只影响抓取,不保证页面从索引中消失,也不能替代对边缘响应的排查。
还要注意,站点地图提交成功不代表页面会被收录,HTTPS 也不等于边缘层不会返回异常内容。这几项各自解决不同问题,不能用来互相替代。请求量或抓取量归零同样不能单独证明处理正确,它也可能是蜘蛛调度变化、日志采样调整或统计口径变化造成的,需要结合边缘响应证据一起看。