先给结论:不要试图让多个域名“都保留一点权重”,而应给每个域名指定唯一角色——主站、归档只读站、过渡跳转站或合作方镜像站,并用可被爬虫和用户同时识别的信号把角色写清楚。下面用一个假设情境把决策过程走完。
假设某团队早年把产品文档拆在 docs.example-a.test,把旧版帮助中心留在 help.example-b.test,主站是 www.example.test。现在旧合作关系结束,example-b.test 的合同不再续,但其中约三成文章仍有访问价值。团队的目标是:主站继续增长,旧域名的有价值内容并入主站,无价值部分退出。
此时“多个域名承载相似内容”不是纯技术问题,而是角色分配问题。若三个域名都保留相似正文,只是互相加一条链接,爬虫仍需自行判断哪个是主版本,用户也会在搜索结果里看到重复入口。正确的动作是:先定角色,再定信号,最后才动服务器配置。
用途声明不是给搜索引擎看的隐藏文本,而是团队内部能对齐、外部能验证的一句话。可以按下面四类归位:
假设上例中 example-b.test 被定为过渡跳转站,那么它的用途声明就是“仅做 301 到主站对应文章,不再承载正文”。这句话一旦确定,后续动作就没有摇摆空间:不是“保留页面再加个链接”,而是逐条映射后跳转。
角色定了,还要让信号可验证。常见做法有三种,各自适用条件不同:
这里有一个容易被忽略的边界:robots.txt 的抓取限制不等于可靠的索引移除。若只写 Disallow 而页面已被索引,爬虫无法读取页面上的 noindex,移除效果可能长期不确定。同理,站点地图不保证收录,提交了不等于被处理。因此“说明用途”要选对信号,而不是把几种手段堆在一起。
另一个实际动作是核对协议与安全状态:若旧域名仍以 HTTP 提供相似内容,而主站是 HTTPS,这本身会削弱“主版本唯一”的表达,但 HTTPS 不保证安全无漏洞或排名,它只是角色一致性的一个环节,不能替代重定向和规范信号。不同搜索引擎对上述信号的支持情况须分别核查,不宜按同一套预期推断。
回到假设情境。团队可以按以下顺序推进:
example-b.test 的每篇文章对应到主站现有文章、归档站文章或“无对应,直接退出”。假设映射完成后,旧域名某目录的抓取请求明显下降。这不能单独证明处理正确,因为下降也可能来自爬虫重新评估、站点地图变更或抓取预算转移。要判断动作是否达到预期,应同时看三件事:主站对应页面是否承接了原有关键词入口、旧域名是否仍有相似正文被索引、用户从旧链接进入后是否落到正确的新页面。若第二项长期不收敛,下一步不是加更多链接,而是检查是否存在遗漏的相似正文或规范信号冲突。
并非所有相似内容都必须合并。若两个域名分属不同语言、不同地区或不同合作方,且各自有独立用户群,保留相似正文可以成立,前提是用途声明清晰、主版本唯一、跨域信号一致。反之,若两个域名只是历史遗留、用户群重叠、内容更新只发生在一处,继续保留相似正文只会让角色模糊,退出或跳转才是更省事的选择。
判断标准可以落到一个问题上:如果用户和爬虫只能看到一个版本,应该看到哪一个?答案所在的那个域名就是主站,其余域名的用途必须围绕它来写,而不是各自争取可见性。