给模型准备的站点摘要里放了链接,就等于让引擎读到正文吗
不是。给模型准备的站点摘要里放了链接,并不等于让引擎读到正文。按 llms.txt 提案的原文定位,这个文件是给 AI 智能体导航用的 Markdown 指南:智能体被期待先查看或检索这份文件,从中找到需要的信息,然后再跟随相关链接去取内容。也就是说正文在链接的另一端,摘要本身不代替正文被读取。
摘要文件承担的是索引,不是正文
提案的说法很直接:We propose adding a /llms.txt markdown file to websites,用它提供对语言模型友好的内容组织。文件按固定顺序用 Markdown 分节,必填的只有站点标识那一节,其余部分以分组链接列表的形式组织,把站点的重点栏目、说明页、常见问答的地址集中列出来。
这种结构的价值在于节省模型的检索成本:不用在整站里盲目试探,先看目录再看内容。它与站点地图的分工也在这里——站点地图负责全量地址的可达清单,摘要文件负责“哪些地址值得优先读”的人工整理。两者都要有,但作用不同。
跟随链接的前提是链接能被读到
摘要里写了地址,接下来要满足三件事,缺一条就等于没写:
- 地址可访问:目标页面返回正常状态码,不依赖会话或表单提交才能出现;
- 地址可抓取:robots 规则没有把这些路径挡在门外,抓取层拿不到内容时,摘要写得再准也没有正文;
- 正文可读:关键结论出现在页面正文里,而不是只由脚本渲染后才出现。
第三件事最容易被忽略。摘要文件把模型引到页面,如果页面主体内容依赖前端脚本追加,抓取到的版本可能只剩导航与壳。站内把地址清单、robots 规则、摘要文件三处口径对齐,是让链接真正生效的做法。
必填与可选段落各自的作用
按提案的组织方式,站点标识段给出站名与一段概述,其余分节把成组的链接按栏目列出,可选部分用来放补充说明与备注。分节的顺序固定,是为了让读取方用同一套解析逻辑处理不同站点的文件。
对运营来说,真正需要投入的是“分组”这件事:哪些内容代表你的专业面、哪些页面是最常被引用的答案载体。把上千个地址堆进去并没有意义,模型要的是有层次的入口清单,全量发现交给站点地图完成。
提案性质带来的边界
llms.txt 现在不是一项强制规范。提案页面写明它 open for community input,对站点属可选实现;它也没有约定任何一家模型或服务一定会读取。这条边界决定了合理的预期:把它当作降低模型理解成本的一份站点指南,而不是排名的开关。
AnQiCMS 在站内提供 llms.txt 模块,可以自动生成这份说明文件,配合站点地图自动生成与 robots 配置使用。运营要做的不是手工维护每一行,而是定期检查生成的结果里有没有出现不该出现的地址(草稿、预览、待发布内容),以及指向的正文是否真的可抓取。
常见问题
只写 llms.txt,不配站点地图行不行? 不建议。摘要文件是给模型看的优先入口,站点地图是给抓取方看的全量地址清单,覆盖范围不同,缺一都会留下发现盲区。
摘要里的链接越多越好吗? 不是。链接要按栏目分组、只放值得优先读取的入口,重复与低价值地址会稀释重点,反而增加模型的检索成本。
robots 屏蔽了某个目录,摘要里写了它有用吗? 基本没有。抓取层被挡住时,链接指向的正文无法读到,应该先把可达性理顺,再决定要不要把它列进清单。
内容需要为模型重写一遍吗? 不需要重写正文,但要把关键结论放在页面靠前的位置,并保证它在抓取版本里就已经存在,而不是等脚本执行完才出现。
这个文件会影响传统搜索排名吗? 提案没有给出这样的承诺。它是给语言模型准备的导航指南,与排名之间的关系并没有被任何一方保证。