AI 流量分成搜索、训练和智能体三类,默认开关改过之后要不要复查
要复查,因为改的是「默认值」。有边缘服务商把 AI 流量分成搜索、训练、智能体三类,并从 2026 年 9 月 15 日起对所有客户(包括免费层)设新默认:搜索类放行,训练与智能体类在含广告的页面上默认阻止,每个站点还能单独设置。只要站点从没手动动过这些开关,行为就会跟着默认值一起变。
三类流量各自要解决什么
三类对应的决定不一样。「被引用」是希望模型在回答里带上站点,属于搜索类;「被拿去训练」是把整站内容喂给模型;「智能体代抓」是让自动化程序代表用户来抓取。允许前者不等于同意后两者,这三件事要分开判。
默认值改的是什么范围
范围是全部客户,含免费层,且按站点粒度设置。这意味着两类站点最容易被忽略:一是完全没配过 AI 相关设置的,行为随默认变了;二是多站点的,每个站要各自核,不能以为主站调了子站就跟着变。
复查时先看哪一层
复查要区分「边缘层的开关」和「站内 robots」两层,两层不能互相替代。
| 层次 | 管什么 | 复查动作 |
|---|---|---|
| 边缘服务开关 | 三类 AI 流量的放行或阻止默认 | 按站点逐类确认当前值 |
| 站内 robots | 哪些地址允许被抓取 | 核对与边缘策略不矛盾 |
| 内容层 | 说明文件、防采集干扰码 | 与上面两层口径一致 |
和站内 robots、干扰码怎么对齐
边缘放行但站内 robots 禁止,实际以抓取规则为准;边缘阻止但站点希望被引用,等于白白关掉机会。所以复查的顺序是:先定业务意图(愿不愿意被引用、被训练),再核对边缘三类开关,最后确认 robots、llms.txt 说明文件与防采集干扰码不与其冲突。允许被引用和允许被批量采集训练是两个不同决定,防采集干扰码守的是后者。llms.txt 面向的是让大语言模型读懂站点结构,它不授予抓取许可,许可仍由 robots 与边缘开关共同决定,别把它当成放行通道。
复查要留一份逐站清单
因为开关按站点粒度设置,多站点、多语言的站要建一张逐站对照表:每个站记录三类流量的当前值、robots 允许范围、干扰码是否启用。默认值再变更时,按表逐站复查一遍,能避免「以为跟着主站一起改了」的漏网。表格里出现不一致,通常是某个站被单独调过,要在上线前对齐。
常见问题
问:默认改成阻止训练,会影响搜索收录吗? 不会直接。搜索类默认是放行,训练类被阻止针对的是拿去训练,两者分开处理。
问:多站点要一个个查吗? 要。开关按站点粒度生效,逐站确认,不能用一个站的设置推断其他站。
问:边缘改了默认,站内还要动吗? 如果业务意图变了才动。边缘层与 robots、干扰码是不同层,要一起对齐而不是二选一,任何一层单独改都可能与另一层打架。