AI巨头联手推抓取退出标准
报价宝综合消息AI巨头联手推抓取退出标准
OpenAI、谷歌、微软和Anthropic四家公司共同宣布，将采纳一套统一的网站抓取退出标准，让内容发布者一次性向多家AI公司表达自己的内容偏好，而不必逐家单独设置。这套方案最早由Search Engine Roundtable披露。
新标准的核心是一枚共享的「策略令牌」（policy token），由Anthropic标准技术负责人Kevin Kelley在互联网工程任务组（IETF）框架下提出。它直接写进网站的robots.txt文件——这个文件多年来一直是网站向搜索引擎、存档服务和爬虫标明「谁可以来抓」的地方。
目前的问题在于碎片化：一个网站若不想让自己的内容被用于AI训练，需要分别向每家AI公司单独声明偏好，稍有遗漏就会被漏抓。新的令牌机制把这件事变成「一次声明、多方生效」，四家公司均承诺，一旦在robots.txt中遇到该令牌，就会限制自家AI爬虫访问对应站点。
落地节奏各不相同：Anthropic已经率先支持该信号，谷歌和微软计划明年跟进，OpenAI表示将在「未来几个月」内实现。
微软还提供了更细粒度的控制，发布者可以分别选择退出AI训练，或退出AI检索增强（即让模型引用经核实的信源来减少幻觉的那类用途）。不过微软同时说明，无论偏好如何设置，网站仍会照常出现在Bing搜索结果里。
这场联合行动的背景，是发布者们正被持续涌入的AI爬虫搞得不堪重负。此前已有一些对抗尝试：Really Simple Licensing（RSL）标准允许网站向来访的爬虫收费，Cloudflare则把AI爬虫设为默认拦截。如今四大AI公司主动接一套统一退出标准，算是对内容方诉求的一次正面回应。
编译自 The Verge，原标题："The biggest names in AI are backing a new way to opt out of scraping"
