把搜索和训练拆成两个开关之后，放行规则按哪个用途判
把搜索和训练拆成两个开关之后，放行规则要按访问用途判，而不是按来源域名判。一家边缘平台在 2026 年 9 月 15 日的公告里说明，搜索、AI 训练、AI 智能体已成为三项独立控制：站点可以只让内容进入搜索结果，而不把同一份页面交给训练用途。这改变了过去的困境——想挡训练就得连搜索一起挡，代价太大，于是多数站点选择全放。
三个开关各管哪一种访问
用途拆开之后，三类访问的边界比较清楚。搜索类是把页面收进索引并展示给用户，站方通常愿意配合；训练类是批量取走语料，是否要给它收益由站点自己判断；智能体类是替某个用户临时代取内容，它既可能是一次性访问，也可能持续出现。三者的动机不同，回荐给站点的流量也不同，用同一个开关处理必然失真。
混合用途抓取占比说明什么
公告里有一个数字容易被跳过：混合用途爬虫占已验证抓取流量的 36.6%。含义是同一批请求并不属于单一用途，同一个来源既可能服务于搜索索引，也可能把内容送进模型训练。这个比例决定了开关拆开之后能不能真的用起来：约三分之一多的流量落在两类之间，如果站方仍然按域名放行，两个开关就会互相打架；只有请求侧带着用途标识，按用途判才有可执行的对象。
| 用途 | 它取内容是为了什么 | 站点通常的诉求 | 放行规则按什么判 |
|---|---|---|---|
| 搜索 | 建索引、把用户带回站点 | 希望被完整收录 | 按搜索类放行，保持清单与抓取路径畅通 |
| 训练 | 批量取语料，不承诺回访 | 收益不确定，倾向收紧 | 单独拒绝，不影响搜索收录 |
| 智能体 | 代某个用户临时代取 | 看具体请求方是谁 | 按代取行为限频，保留可复核记录 |
站点的真实选择分布
公告给出的另一组数据是站方偏好：不到百分之一的站点会挡搜索爬虫，约百分之十七限制 AI 训练。这两个数字放在一起更能解释开关为什么要拆。搜索收录对多数站点是必需项，几乎没人愿意放弃；训练用途的分歧大得多，接近两成的站点已经想限制它，只是过去没有只针对它的控制手段。拆成独立开关之后，这类意愿第一次可以单独表达，而不用整站二选一。
按用途放行前要确认的三件事
第一件是请求侧到底带不带用途标识。没有标识就只能按来源与路径猜，规则写出来也难以复核。第二件是自己站点的抓取日志能不能分类统计，能把三类访问分开计数，才谈得上分别放行；否则改动带来的差别看不出来。第三件是排除规则与开关的关系。按用途的控制面通常位于边缘层，排除文件则是一份面向自愿遵守者的约定，两边写出的意图如果不一致，抓取行为会按其中更宽松的一侧表现。
常见问题
问：拆成三个开关之后，是不是就不用改排除文件？ 答：不能替代。开关管的是可识别的抓取请求，排除文件表达的是站方意图，两者作用面不同，仍要一起维护。
问：混合用途那部分怎么办？ 答：先按最保守的一侧处理，再观察实际行为。占比接近三分之一说明这部分不是边角情况，值得单独做统计口径。
问：限制训练会不会影响搜索收录？ 答：这正是拆开开关要解决的问题。只要请求侧能区分用途，训练类收紧不必以放弃搜索收录为代价。