开了多站点后,站点地图和 robots 文件要不要各站一份
一套后台管多个站点时,Sitemap 与 Robots.txt 的答案很明确:按站点分开,每个域名各一份。原因是搜索引擎的抓取、收录与规则读取全部以域名为单位——robots 文件必须放在域名根路径才生效,站点地图要在对应域名的站长工具里提交。程序可以一套共用,这些跟域名绑定的 SEO 配置共用了就会出问题。
为什么 SEO 文件跟域名走而不是跟程序走
爬虫判断”这个站允许抓什么”,靠的是访问该域名根路径下的 robots 配置;判断”这个站有哪些页面”,靠的是该域名提交出去的站点地图。两条链路都以域名为身份标识,爬虫不知道也不关心背后是几套程序。
所以多站点架构下的正确心智模型是:后台程序是公共的资产仓库,robots、站点地图、推送配置是每个域名各自的”对外门面”。AnQiCMS 的多站点管理支持在同一后台维护多个独立站点,适合多品牌、多主题的场景,正是因为它把站点级的配置和全局配置分开了。
站点地图各站生成的正确姿势
站点地图要按站点自动生成、按站点各自维护。检查三件事:每个站点的 Sitemap 是否只包含本域名下的 URL,混入其他站点地址会让那份文件整体可信度下降;新增内容是否自动进入对应站点的清单,靠手工补文件迟早漏;清单里的地址形态是否统一,伪静态规则改动后,旧形态地址要退出清单、只保留当前使用的规范地址。
多语言站点还要多查一层:不同语言版本分属不同域名或目录时,清单要按各自的收录入口分别提交,不要把一个域名的清单拿去喂所有语言版本。
链接推送的归属怎么算
新内容靠推送加速发现时,推送动作也要按站点归属计算:每个域名把自己的新链接向对应的百度、Bing 账户提交,配额独立、成功率独立。常见错误是只给主站配置了主动推送,附属站点的内容发出去后一直靠爬虫自己碰运气,收录节奏差出一截。
正确的做法是把”发布”和”推送”绑成同一动作的两步:内容在哪个站点发布,就触发哪个站点的推送任务,避免人工事后补交。
哪些设置可以共用,哪些必须分置
| 配置项 | 按站点分开 | 可全站共用 | 说明 |
|---|---|---|---|
| Robots.txt 规则 | 是 | — | 放在各域名根路径,规则独立 |
| 站点地图 | 是 | — | 只含本站点 URL,各站单独提交 |
| 百度/Bing 主动推送 | 是 | — | 配额与账户按域名绑定 |
| 301 重定向规则 | 是 | — | 跳转只在本域名内收敛 |
| 敏感词与审核规则 | 可共用一套库 | 是 | 内容合规口径通常一致 |
| 用户与权限体系 | — | 是 | 后台账号是一套的 |
站群混用配置文件的后果
把一套 robots 或一份站点地图铺给所有站点,短期看省了配置成本,代价在后面:某个站点想被加大抓取时,被共用规则里的 Disallow 挡住;某个站点出违规内容需要收紧抓取时,规则一改全改,误伤其他站;站点地图混域名后,搜索引擎对”这个站到底有哪些页”失去准确认知,收录与位次都会波动。多站点的前提是”域名身份独立”,配置文件各站一份正是这个前提的落地动作。
常见问题
Q:多个站点内容几乎一样,可以共用一份站点地图吗? A:不建议。内容相似本身就会被判重复,再共用清单会让爬虫把两站混为一谈,应当各站提交各自的清单,并拉开内容差异。
Q:robots 规则基本相同,能全局写一条吗? A:规则文本可以复制成同一份模板,但必须分发到每个域名的根路径各自生效,”模板统一、实例分开”是安全做法。
Q:新站点开了之后第一步配什么? A:先配本域的 robots 与站点地图,再接对应域名的主动推送账户,最后核对 301 规则是否只在本域内跳转。