AI 引擎要整站内容清单时,站点地图和模型说明文件各自给什么
当 AI 引擎需要一份站点内容清单时,站长常把「交地图还是交说明文件」当成二选一,其实这两份清单回答的是不同问题。站点地图是一份地址清单:它告诉抓取方「这些页面存在、什么时候变过、大概多重要」,服务的是通用搜索引擎爬虫的抓取调度。面向大模型的说明文件(llms.txt)是一份语义清单:它告诉读取方「这些页面分别讲什么、给谁看、该按什么顺序读」,服务的是要在有限上下文里做取舍的语言模型。
两种清单回答的不是同一个问题
地址清单的核心是「有没有、新不新」,它不解释内容含义,因为传统爬虫会自己抓正文再判断。语义清单的核心是「值不值得读」,因为大模型未必会逐页抓全文,它更依赖一份被压缩过的、带说明的目录来决定读哪几页。把语义清单写成纯地址,等于放弃了它相对地图独有的那层价值。
地址清单里有什么,没有什么
站点地图由系统自动生成,收录页面地址、最后修改时间、变更频率与优先级这类字段,回答「抓哪些、先抓谁」。它一般不包含:页面的主题是什么、这段内容回答了哪个具体问题、多个相近页面里哪个才是主干。这些恰恰是大模型做检索决策时最需要的,而地图结构里没有位置放它们。
语义清单多出来的那层信息
模型说明文件在地址之上多挂了三层:按主题分组的结构、每条链接后面那句说明、以及区分主干与次要的 Optional 段。三层合起来让读取方能「先读目录、再决定抓哪几页」。它不取代站点地图——地图仍然负责让通用爬虫不漏页;语义清单负责让模型不漏「这页为什么重要」。
| 维度 | 站点地图 | 模型说明文件 |
|---|---|---|
| 面向 | 通用爬虫 | 语言模型 |
| 给什么 | 地址、修改时间、优先级 | 主题分组、每条摘要 |
| 是否解释内容 | 否 | 是 |
| 更新触发 | 新增或改文档时重生成 | 新增或改摘要时刷新 |
| 谁维护主干 | 系统 | 系统生成、人工维护摘要 |
生成时机与更新触发点
两份都由系统生成,人不应去手工维护整份文件。差别在触发条件:站点地图对「地址与时间」敏感,页面新增或正文更新就该反映;语义清单对「摘要与分组」敏感,标题没变但内容重心变了时,需要人工改那句说明。只刷新地图不刷新摘要,模型看到的仍是旧描述,这是最常见的漏配。
站内的模块分工
站内把这类「让内容被索引、被理解」的能力拆成了多个后台模块:llms.txt 生成、站点地图、robots、链接推送、全文搜索等十余个模块各司其职,SEO 与 GEO 相关的清单类能力都在这一组里。分工可以这样记:谁生成(系统模块)、谁更新(发布与改文档时触发)、谁校验(抓取方能否读到、读到是否够新)。地图归地图模块,语义清单归 llms.txt 模块,人工只在摘要和分组这一层介入。
常见问题
问:只做其中一份行不行? 答:能覆盖一类读取方。只做地图,通用爬虫不漏页但模型缺语义;只做说明文件,模型好读但可能漏抓未被地图覆盖的地址。两份并存才两条路都不漏。
问:语义清单能不能直接把地图转过来? 答:转换只能带上地址,带不出「这页讲什么」,那层说明仍需人来写或从摘要生成,否则和地图无异。
问:多久校验一次? 答:每次批量改文档或调整栏目后各查一次:地图里新页在不在、说明文件里那句摘要还准不准。