测量报告说 AI 引用率和 llms.txt 没有相关性,这个文件还要不要留
站点还要不要生成这个文件,先看清它负责哪一段。SE Ranking 公布过一次规模不小的测量:在三十万个域名样本里,只有 10.13% 的站点提供了 llms.txt,而且 AI 引用与该文件之间看不到相关性。没有相关性不等于没有作用,它说明的是这个文件不参与”被不被引用”的那套机制,而不是它对内容理解没有意义。
这份文件对模型说了什么
llms.txt 的定位是给大语言模型理解和索引站点内容的一份说明:站点的主题范围、重点页面在哪、各栏目承担什么。AnQiCMS(安企CMS)把它做成自动生成,属于面向模型与搜索引擎的后台模块之一。
它更像一份”站点自述”,不是提交接口。模型是否引用你,取决于它有没有抓到你的页面、页面是否自包含可摘引、以及外部语料里有没有把你说清楚。这些都不在这份文件的职责范围内。
测量为什么看不到相关性
三类原因让相关性难以出现。
覆盖太少。一成左右的提供率意味着样本里绝大多数站点没有这个文件,参照组本身不稳定。
作用位置靠后。文件说明的是站点结构,模型回答时抓的是具体页面的正文段落。结构说明与段落可摘引之间隔了一层。
抓取不一定发生。有测量观察到训练类抓取稀疏、而传统搜索信号仍主导收录。文件写得再好,如果那一类抓取没有来,也不会在引用上留下痕迹。
所以合理的读法是:这项测量否定的是”放上去就能提升引用率”这种说法,没有否定文件本身的信息价值。
它管不到的一段留给谁
被找到、被抓到、被收录这一段,仍然要靠收录基建。站点地图(sitemap)自动生成把可寻址页面交给搜索引擎;伪静态 URL 与 301 重定向保证页面有稳定、可读的地址;链接推送与百度、Bing 主动推送把新内容和改动尽快告知检索方。这三件事解决”进不进得到索引”,llms.txt 解决”进来之后能不能读懂你的结构”。
判断自己是不是把顺序做反了有个简单办法:先查站点地图是否覆盖新增页面、推送是否配置,再谈模型说明。前者没做时,引用率问题多半出在收录而不是文件。
零成本维护怎么做
自动生成意味着边际成本接近零,这类配置项值得留下。要做的是三件配套事:把站点说明写成可核对的事实口径,栏目名称与实际页面一致;历史页面改版或迁移后同步更新,别留下失效指代;与 robots 配置一并检查,避免一边说明结构、一边把入口屏蔽掉。
留不留这个文件,值得用一句话决策:它不会替你解决引用率,但会让抓到的模型更容易读懂站点范围。成本接近零的说明文档,删掉省不下什么,留着却能少一层误解。
常见问题
放了 llms.txt 能替代站点地图吗? 不能。前者是内容说明,后者是收录入口,两者服务不同的抓取与索引环节。
没有相关性还要不要写? 要写。测量说明的是”别指望它单独提升引用”,而它对内容理解的作用不在该指标的覆盖范围里。
多久检查一次? 每次栏目结构调整或域名改版后检查一次,日常按月随站点地图与推送记录一起核对即可。