智能体用请求头要纯文本版本时,站点的转换该由哪一层做

📅 2026-10-12 👁️ 0

智能体用请求头要纯文本版本时,转换该由哪一层做——多数托管型边缘方案的答复是:由边缘节点代做,源站不用改代码。机制是一套内容协商:客户端在请求头里表达「我想要 Markdown」,边缘从源站取回原始网页,动态转换后返回,浏览器仍拿常规 HTML、地址不变。源站的角色退回到「提供权威原始内容」,转换的清理范围由边缘决定。

协商头怎么表达偏好

关键在请求头里的 Accept 字段。有文档说明,带 Accept: text/markdown 的请求会得到 Markdown 响应,而普通浏览器不带这个偏好,依旧返回常规 HTML,地址也不改变。也就是说,同一份内容、同一个地址,按调用方的偏好返回不同表示,这是这套机制的核心。有的托管平台对文档类域名默认就开启了这个能力,无需额外配置;有的则需要用户在控制台或配置规则里显式打开,并且受套餐档位限制。

边缘转换会去掉什么、留下什么

代做转换的清理范围是固定动作,不看源站脸色。以一套主流边缘方案为例,转换过程是这样处理的:

处理项 边缘代做时的行为
脚本 / 样式 从正文清掉
导航 / 页脚 从正文清掉,只留主体内容
安全与缓存头 透传保留
长度 / 实体标识 / 修改时间头 被移除(Content-Length、ETag、Last-Modified)
返回类型头 明确标注为 Markdown 文本

值得注意两条:转换有体积上限,解压后的网页超过约六百万字节量级就可能失败,超大页面拿不到 Markdown;返回的类型头是「Markdown 文本」而非原始 HTML,调用方按这个头决定怎么解析。安全头透传意味着源站原有的安全策略仍生效,但标识类头被去掉,靠这些头做缓存校验的链路要重新评估。

源站还要不要自己出纯文本

要看你对「给什么」的控制要求有多高。边缘代做的优点是零改造、覆盖全站;缺点是清理范围、体积上限、返回结构都由转换方定,源站没法精确规定「哪些字段保留、哪些去掉」。当站点结构复杂、正文里有关键的自定义字段,代做可能把有用信息也当噪音清掉。这时源站自己维护一份受控的纯文本表示更稳。

和模型说明文件怎么分工

这件事和站内生成模型可读清单是两条互补的路。协商转换处理的是「单个页面按需返回纯文本」,是响应时行为;模型说明文件(llms.txt 这类)处理的是「告诉抓取方整站有哪些内容、从哪读起」,是一份静态清单。GEO 模块里这两者各管一段:站内可自动生成面向大语言模型的站点清单,回答「有什么、在哪」;Markdown 协商回答「这一页现在给我纯文本」。一个管地图,一个管单页呈现。若站点通过 MCP 等接口对外暴露内容能力,还能让外部智能体走结构化调用而不是纯抓取。

常见问题

问:不改动源站就能让智能体拿到纯文本吗? 答:用边缘代做的方案可以,源站不改代码;但清理范围、体积上限和返回结构由转换方决定,控制粒度有限。

问:转换会不会破坏原有安全策略? 答:安全与缓存类响应头一般透传保留,原有策略仍生效;被移除的是长度、实体标识与修改时间这类头,依赖它们做校验的链路需要调整。

问:已经有了页面级纯文本协商,还要模型说明文件吗? 答:要,两者不重叠。协商是单页按需转换,模型说明文件是全站内容地图,抓取方先看地图再逐页请求,配合才完整。

相关文章

带筛选参数的列表页要不要放行抓取,排除路径怎么写

带筛选参数的列表页要不要放行抓取,要按页面类型分别判断。本文先分清站内搜索、自定义字段筛选、伪静态后的分面地址三类,再按抓取排除协议只认路径前缀这一限制,说明哪些该挡、哪些挡了反而伤收录,以及站内 robots 配置与伪静态规则两处该怎么分工来写排除路径。

2026-10-12

抓取排除文件按路径前缀匹配,写成通配或正则为什么不生效

抓取排除文件里的规则按请求路径前缀匹配,写成通配符或正则不生效,是因为这套协议只识别 User-agent 与 Disallow 两项、且明确不支持通配与正则。本文按协议原文说明规则为什么只按前缀走、通配和正则写法会发生什么,以及站内该按什么顺序写目录路径与斜杠来匹配真实需求。

2026-10-12

内容管理系统一个月内接连出安全版本,说明运维该改什么

内容管理系统在一个月内接连发布安全维护版本,说明运维的判断标准要从版本号转向修复内容。本文以近期***息为例:WordPress 在九月与十月接连发布三个安全维护版本,Joomla 同期面向 5.x 与 6.x 两支发布安全修复,从中提炼三条运维调整——按修复内容决策、升级留回滚点、升级后轮换密钥与口令。

2026-10-12

自建内容系统和按量计费的云服务,花费差在哪几项

自建内容系统与按量计费的 Headless 云服务,花费差异主要落在服务器、请求量、集成扩展与运维人力四项。小规模自建通常更省,规模上升后维护与人力成为主要支出;Headless 把前端部署到边缘、按接口取内容,省掉每次请求的服务端渲染,但引入接口调用计费。本文按四项拆开对比,并给出自托管的对照。

2026-10-12

未登录用户能读到什么,内容系统的权限边界容易漏在哪

未登录用户能读到什么,取决于权限边界划在哪一层。多数越权读取不在主文章本身,而在附属数据、接口列表和预览入口:评论、附件、草稿预览各有各的可见性。本文说明这三处最容易漏的位置,以及站内用用户组权限、文档状态与高危接口默认关闭来收口的做法。

2026-10-12

导出文件里也会藏注入,二阶 SQL 注入防在哪一步

二阶注入的特征是延迟执行:恶意内容第一次被写入时看起来无害,等到导出、导入或重建索引把它再当成语句消费时才触发。本文以 WordPress 7.1.3 修复的 WXR 导出中的二阶 SQL 注入为例,说明一阶与二阶的差别、导出为什么成了投递渠道,以及防护该放在写入、存储、消费哪几步和备份恢复流程要补的检查。

2026-10-12

评论在后台被打开时才触发的 XSS,内容系统该防在哪一层

有些跨站脚本不在前台触发,而是等管理员在后台打开待审评论时才被执行,这类缺陷的防护位置和前台完全不同。本文以近期 WordPress 7.1.3 修复的评论管理页存储型 XSS 为例,说明二次上下文为什么是独立攻击面、入库过滤为什么不够,以及后台侧要做的三层防护:输出转义、权限边界与内容审核。

2026-10-12

边缘节点代做文本转换和程序自己出纯文本版本,建站时怎么选

给智能体提供纯文本版本有两条实现路径:边缘节点代做转换,源站不改代码但受托管档位与体积上限约束、控制粒度在响应头里;程序自己输出纯文本,内容与结构可控但多一份模板与缓存成本。本文摊开两条路径的控制面、体积与一致性差异,并给出四类建站场景的选择建议和该问的四个问题。

2026-10-12