功能预览

功能介绍

站点说明文件真正强制的只有一个一级标题,其余能省到什么程度

llms.txt 提案里强制要求的部分只有一级标题,用来写明项目或站点名;引用块摘要、说明段落、分组链接与可选区都能按需取舍,而文件本身要保持小到能装进上下文。本文按提案原文拆开必需节与可选节,说明它与站点地图、抓取排除文件分别管什么,以及站内自动生成时要盯住哪三点。

大模型抓取 GEO

功能介绍

llms.txt 提案里强制要求的只有一级标题,用来写明项目或站点名;其余部分能省到什么程度,要看站点希望大模型抓取时拿到多少上下文。这份文件与站点地图、robots 一类的抓取文件经常被放进同一个 GEO 话题里讨论,也经常被混为一谈。本文按提案原文把必需节与可选节拆开,说明各分区省掉会怎样,再谈站内自动生成时要盯住的三点。

必需节与可选节分别怎么规定?

llms.txt 提案(The /llms.txt file, v2,作者 Jeremy Howard,2024 年 9 月 3 日发布、2026 年 8 月 10 日修订)对格式的规定相当克制:文件可放在站点根路径或任意子路径,一个文件覆盖其路径下的 URL;多个文件适用时,智能体应使用更具体的那一份。格式上,开头是一个一级标题,写明项目或站点名——强制要求的只有一级标题这一节;其后的分区都能按需取舍:引用块形式的简短摘要、不含标题的说明段落、以二级标题分隔的零个或多个分组链接区,以及用于次要信息的 Optional 区。各分区的取舍可以对照下表。

分区 是否必需 省掉会怎样
一级标题(项目或站点名) 强制要求 文件不满足提案的格式规定
引用块简短摘要 可省 模型拿不到现成的全篇概要
说明段落(不含标题) 可省 补充说明只能挪到链接后的页面
分组链接区(二级标题分隔) 可省,提案允许零个 模型缺少精选入口,需自行摸索
Optional 区 可省 次要信息直接不进文件

为什么文件要保持小到能装进上下文?

提案原文写明,文件本身要保持小到能装进上下文。这句话决定了取舍的方向:细节留在分组链接区指向的页面里,抓取方按需再取,而不是把内容抄进文件本身。文件越长,越容易挤占模型的上下文额度;摘要只写理解全篇所需的关键信息,链接区只放真正核心的入口,才符合提案的取向。精简不是省事,而是让这份文件在模型那边保持可用的前提。

和站点地图、robots 文件怎么分工?

提案原文给了直接对照:站点地图列出所有页面、面向搜索引擎,llms.txt 提供的是给大模型看的精选概览;而对 robots.txt 这类抓取排除文件,它可以起到补充作用,为允许抓取的内容提供上下文。三者管的事情各不相同:站点地图管有哪些页面,抓取排除文件管哪些内容不让抓,这份文件管允许抓取的内容里模型该先理解什么。

AnQiCMS(安企CMS)侧对应三项能力:站点地图自动生成,robots 通过配置管理,以及 llms.txt 支持——可自动生成站点的 llms.txt,便于大语言模型理解和索引网站内容。三者并存、互不替代,写方案时不必拿一份文件去顶另一份的职责。

站内自动生成时要盯住哪三点?

其一,摆放路径与覆盖范围:提案规定文件可放在根路径或任意子路径,一个文件覆盖其路径下的 URL,多个文件适用时用更具体的那一份;自动生成前要明确产出放在哪个路径、覆盖哪些页面,避免 /llms.txt 与实际内容分布对不上。其二,链接指向的版本是否友好:分组链接区里的条目建议指向便于模型阅读的页面版本,这层对应关系怎么建属于方案要写清的边界。其三,摘要是否写清关键信息:引用块摘要要能支撑理解全篇所需的最小信息量,写什么、写多长应在方案里定清楚,而不是把页面标题堆进文件。

常见问题

llms.txt 可以只写一个标题吗?

可以。按提案格式,强制要求的只有一级标题,其余分区都能省;代价是模型只剩下站点名这一条信息,要不要省到这一步,应结合 GEO 的收录目标一起权衡。

已经有站点地图了,还要这份文件吗?

两者管的不是同一件事:站点地图列出所有页面供搜索引擎使用,这份文件给大模型提供精选概览。站点内容多、希望模型先抓住重点时,两份并存比互相顶替更合理。

和 robots.txt 会冲突吗?

不冲突。提案原文写明它可以补充 robots.txt,为允许抓取的内容提供上下文;哪些路径不让抓,仍由抓取排除规则自己决定,这份文件只在允许的范围内提供信息。

Optional 区值得保留吗?

它用来放次要信息。站点需要区分核心内容与次要内容时再启用;要控制文件长度时优先砍它,其次才是砍摘要。