四巨头承诺遵守robots.txt拒绝AI训练

网站拒绝 AI 训练的方式即将统一。OpenAI、Anthropic、谷歌、微软四家公司已承诺，将共同遵守 robots.txt 中的一行新标记，站长写一行就能向所有参与方声明「不要用我的内容训练模型」。Meta 表示欢迎但尚未承诺。

这项机制来自互联网工程任务组（IETF）AI 偏好（AIPREF）工作组的草案，由 Anthropic 工程师 Kevin Kelley 提交，在 robots.txt 的 User-Agent 组中加入 __usage_ai-training 策略标记。按草案定义，「训练」指改变生成式模型的参数，纯分类、排序类用途不算在内。

在此之前，想拒绝的网站要为每家公司的爬虫分别写规则，有的公司还同时运营多个爬虫。共享信号把这种碎片化声明合并成一行，所有参与方以相同方式读取。

但承诺比不少报道描述的要窄：这一行只是声明内容的使用偏好，并不能阻止机器人抓取页面本身；它还不是正式标准，IETF 没有背书，草案若不修订将在2027年5月3日失效；对已经被抓走的内容也追溯无效；而且四家目前没有一家完全执行。

时间表各不相同：Anthropic 是四巨头中唯一已开始实施的；OpenAI 计划在未来几个月内落地，但未给出具体日期；微软从2027年2月1日起在爬取时遵守该信号；谷歌以2027年为目标。Meta 新闻发言人称共享信号是进步，但公司尚未承诺遵守。

各家的实现也有差异。谷歌表示，网站只写共享标记而未单独禁用 Google-Extended 时，将视同禁用 Google-Extended，这意味着只想挡训练的网站可能连带失去在 Gemini 回答中的引用和点击。微软则引入单独的页面级 AI Grounding 偏好，内容可继续供自家 Copilot 使用，同时排除其出售给其他企业的接地服务。

编译自 TechRadar，原标题："Google and Microsoft among those signing up to OpenAI's plan for a new website crawling standard"