三十万个域名里只有一成放了 llms.txt,这个文件到底管不管用
三十万个域名的抽样里只有一成左右放了 llms.txt,它到底管不管用?现有研究给的结论比较克制:SE Ranking 对 300000 个域名做了统计,llms.txt 采用率为 10.13%,并且没有发现这个文件与 AI 引用频率之间存在直接相关性。合理的读法是:它是给大语言模型看的站点入口说明,属于「补齐信息」的一步,不是会立刻改变引用结果的开关。
这个文件本来想解决什么
llms.txt 的设想很简单:在站点根路径放一份纯文本,向 LLMs 与抓取器说明站点是做什么的、核心页面在哪里、哪些内容值得读。浏览器时代靠 HTML 与站点地图传达结构,模型时代多了一个「先读我」的入口。它降低的是模型理解站点的成本,而不是给内容加权。
为什么说它不是排名因子
采用率数据说明两件事。一是这事还很早期,十家里只有一家装了这扇门;二是装了门不等于有人来——模型引用内容时优先看可抓取性、页面是否直接回答问题、站点在垂直话题里的可信记录,这些都不写在 llms.txt 里。把它当成「装了就赢」的开关,是对研究结论的过度解读。
可达性还得靠原有基建
不管抓取方是搜索引擎还是大模型,进得来、读得懂是前提。站点地图负责把 URL 清单交出去,自定义伪静态规则保证地址形式稳定可读,链接推送把新增和变更主动告知出去。这三件事在内容管理系统后台都属于配置项而不是开发项,做完之后再去补 llms.txt 的自述说明,顺序不要倒过来。
落地时按这个次序做
第一步核对可抓取性:站点地图是否自动生成并已提交,伪静态 URL 有没有把旧地址断掉。第二步核对可回答性:核心页面第一段是否直接给出结论,问答型内容有没有独立小节。第三步生成 llms.txt,写清站点定位、主要栏目和更新时间,交给系统自动生成再人工补一段业务描述即可。第四步观察引用与推荐流量的变化,把归因留给内容质量,而不是文件本身。
常见问题
采用率低还值得做吗? 值得,但把它归类为低成本补齐项:一次配置长期有效,做它的理由是信息完整,不是赌它能改变引用。
放了 llms.txt 会被处罚吗? 没有证据表明存在惩罚机制,它只是新增一个说明入口,不影响原有抓取规则。
文件里要写全部内容吗? 不用,它是目录和摘要的角色,把「我是谁、核心页面在哪、怎么读」说清楚即可,正文仍由页面本身承载。