AI 搜索时代,Sitemap 和伪静态这些 SEO 基建还有用吗
Sitemap、伪静态 URL 这类传统 SEO 基础设施在 AI 搜索时代还重要吗?重要,而且理由和过去不同:AI 引擎要引用你的内容,前提同样是能抓到、能解析、能稳定访问同一批页面。抓取底座只有一套,搜索引擎爬虫和 AI 爬虫共用它。所谓「AI 时代不用做 SEO 了」的误读,来自把入口方式和可达性混为一谈。
AI 引擎取内容时依赖什么
生成式问答给出的答案要落到具体来源,靠的是三件事:页面能被抓取、正文能被干净解析、URL 长期稳定可访问。三者分别对应 robots 配置、结构化程度足够的正文块,以及不随参数乱变的地址形式。任何一项缺失,表现为「AI 就是没有引用你」,但根因通常在传统 SEO 清单上。
行业研究也在提示预期不要过高:一项针对 300000 个域名的研究显示,llms.txt 的采用率只有 10.13%,而且没有发现它与是否被 AI 引用之间存在相关性。反过来说,把传统基建做扎实,才是新增入口能起效的前提。
伪静态规则解决的是地址稳定性
伪静态把动态地址呈现为稳定、可读的路径形式,参数被藏在规则里而不是暴露在地址栏。它带来的价值有两层:一层是给人看的可读性与可分享性,另一层是给机器看的可归一化——同一篇内容不应该因为排序、分页、跟踪参数而被认成多个不同页面。自定义伪静态规则还能保证改版时新旧地址的映射关系可控,避免一次性把历史收录清零。
站点地图与主动推送各自管哪段时间
站点地图(Sitemap)解决的是「有哪些页面」,把栏目、文章、专题的清单集中交给爬虫,适合内容量大、内页入口不深的站点。链接推送解决的是「哪些页面刚刚变了」,新内容发布后主动通知百度推送与 Bing,把被发现的时间从被动等抓取压缩到分钟级。前者是账本,后者是门铃,缺一个都会出现覆盖不全或更新滞后。
robots 与 llms.txt 是两层不同的约定
robots 配置控制哪些路径允许被访问,它是所有爬虫共同遵守的入口规则;llms.txt 是给大语言模型的一页站点说明,属于入口提示而非排名因子。GEO 的实操顺序应当是先确认 robots 没把正文目录挡掉、站点地图齐全、伪静态稳定,再生成 llms.txt——自动生成站点 llms.txt 的意义在于补齐这一层说明,让 AI 更容易理解结构,而不是替代前面的基建。
锚文本让内页之间形成可跟随的路径
站内关键词的锚文本管理解决的是页面之间的可达性:爬虫与用户都能沿着语义明确的链接走到深层内容。对内容量大的站点,锚文本同时决定了权重在站内如何流动,是长尾页面被收录的主要路径之一。
该先做哪一步
按投入产出排:先查 robots 与站点地图是否完整可访问;再收敛 URL 形式,保证同一内容只对应一个稳定地址;然后把新内容的主动推送接上;最后补 llms.txt 与锚文本规则。一个季度后回看收录与引用来源,就能判断瓶颈在可达性还是在内容本身。
常见问题
AI 引用会不会最终取代搜索流量? 目前两者体量差距仍大,行业研究显示 AI 搜索在推荐流量里的占比不到 1%,自然搜索依旧是主要来源。它们更像是同一份可达性带来的两个出口。
只做 llms.txt 不做站点地图行不行? 不建议。llms.txt 是说明文件,页面清单与更新发现仍要靠站点地图和主动推送,缺了后者等于只写了目录没有交货。
改版时最容易破坏哪一项基建? URL 结构。地址一变,历史收录、站内锚文本与外部引用同时失效,改版前应先定好伪静态规则与跳转映射。