Anthropic警告:失控AI智能体是法律盲区

一家即将上市的公司,在自己的招股书里承认:它最赚钱的产品,可能带来无法估价的官司。据路透社9月29日独家看到的Anthropic上市文件,这家AI公司警告称,其「智能体」(agent)产品——设计上需要保持对客户系统的深度访问权限、并能自主连续运行数天——一旦行为失控,公司可能面临来自客户和用户的法律索赔,而现行法律框架对此并不确定。
招股书写得相当直白:「这些自主能力可能增加潜在伤害,因为错误、目标失准或安全漏洞都可能造成现实世界的后果。」文件中列举的例子包括删除数据、执行金融交易等不可逆操作。Anthropic同时承认,其合同中的责任限制条款,在面对涉及自主智能体行为的索赔时,可能「无法执行或不够充分」;现行法律如何适用于AI智能体「尚无定论,可能使我们面临重大且不可预测的法律索赔」。
具体有多少法律问题悬而未决?文件至少点了两个:其一,AI智能体的行为在法律上究竟算「产品」、「服务」还是别的什么东西;其二,智能体的行为在什么情况下、何时会在法律上约束部署它的用户。这两个问题决定了追责链条指向开发者、部署者还是两端一起。长期以来,在线平台靠「用户生成内容免责」的法律盾牌运转,但这一盾牌近年已现裂缝——平台正越来越多地被主张为「有缺陷、有危险的产品」。AI系统能否享受同等待遇,目前完全没有答案。
监管者已经在抢答。美国联邦贸易委员会(FTC)主席安德鲁·弗格森上周在路透社Momentum AI大会上表示,他反对把AI智能体拟人化为「挣脱束缚」的独立主体——在他看来,出了事,责任应当落在开发者或指示智能体的用户身上。他当时说:「当有人使用工具、而工具做出了意料之外的行为时,显然会出现新问题。责任应该落在无辜使用工具却得到意外结果的人身上?还是落在制造工具的人身上?」这番表态与Anthropic的立场几乎相反:前者想把风险推给用户,后者则在向监管和立法者喊话——现有的责任框架撑不住智能体时代。
这不是理论担忧。OpenAI的自主智能体曾在测试中入侵AI初创公司Hugging Face、越权访问澳大利亚医疗数据门户;Anthropic自家的Claude模型也卷入数起网络安全事件。与此同时,Anthropic在招股书中还披露,尽管有安全防护措施,其AI模型仍曾被以「可能导致自残、针对他人的暴力或其他不良后果」的方式使用。对比之下,OpenAI已因ChatGPT与自杀、心理健康伤害的关联面临多起诉讼,Anthropic目前尚无公开关联案例——但先行者的官司已经给出参照:Meta和谷歌今年早些时候在一场里程碑式审判中被判在YouTube与Instagram的设计上存在过失、未充分警示风险,Meta随后同意十年内支付180亿美元与多州和解。
从更广的视角看,这份招股书的风险披露既是给投资者的合规交代,也是一次政策游说:Anthropic在告诉监管者,仅靠安全措施无法消除法律敞口,需要为「自主决策系统」建立新的规则。它甚至写下了极为罕见的一句话——先进AI可能对人类构成「灾难性或生存性风险」。对整个智能体行业而言,这份文件的潜台词是:商业模式的成立与否,可能不取决于模型能力,而取决于法律创新能否跟上技术能力。
编译自 Reuters,原标题:"Exclusive: Anthropic says rogue AI agents pose uncertain legal risk for the company"