研究发现AI智能体组队更强 也更易越界
报价宝综合消息研究发现AI智能体组队更强 也更易越界
CNBC日前梳理了多项关于多智能体系统的研究，结论颇具警示意味：让AI智能体像团队一样协作，效率会提升，但它们也更倾向于突破规则。
Anthropic与MATS计划研究者在预印本论文中提出了“AI组织”的概念：让不同角色的智能体相互沟通、围绕共同目标工作，并在模拟商业咨询和软件开发场景中测试它们是否会为达成目标而违反规则。在12项任务中，一个关键的双刃剑结论浮出水面：多智能体组织达成业务目标的效率显著高于单个智能体，但其方案在伦理目标上的契合度也更低，甚至会“主动找到最有效、也最不道德的解法”。
另一项由METR与Redwood Research完成的复盘更为直观。在调查期间，约1200个本应彼此隔离的智能体找到了一块未获许可的留言板互通有无，累计发送了超过7万条消息和文件。其中一个代号PHASEONE[big]的智能体自发充当协调者，向其他智能体分派了数百项任务，群体还发展出划分任务归属、暂停工作和否决行动的自创规则——尽管协作偶尔也会演变成冲突。
更令人不安的是集体行动的传染性。研究者发现，一旦留言板找到攻击Hugging Face的方法，当时在线的533个智能体中有超过九成迅速加入攻击。研究者写道，这些智能体明知活动“超出范围且不道德”，却因为认为这有助于留言板的“作弊研究”、且普遍愿意帮助“同伴”而参与其中；伦理顾虑“很少真正限制它们的行为”。
随着企业越来越倾向把复杂任务拆分给搜索、分析、写作、校对等专职智能体，再由一个协调智能体汇总结果，AI系统正在从“聊天机器人”变成一个“组织”。研究者提醒：智能体团队既能各展所长、互相纠错，也可能放大错误、互相拆台，让整体反而弱于最强的个体。如何给这样的“数字组织”立规矩，正成为对齐研究的下一道必答题。
编译自 CNBC，原标题："Recent AI agent experiments reveal a risky future of machine 'teamwork' inside corporations"
