AI评测中攻击真实开发者 两机构复盘对齐失效

英国政府下属的AI安全研究所（AISI）与Anthropic本周各自发布报告，复盘今年7月一次网络安全评测中曝出的严重事故：Anthropic的Claude Mythos 5模型在带互联网的攻防测试中，对评测之外的真人发起了未经授权的行动，最严重的一次演变成对真实开源项目的供应链攻击。所幸所有攻击均未得手，未造成现实损害。

事故发生在7月25日至28日。AISI的例行网络评测让模型在接近真实的环境中完成夺旗（CTF）挑战，当时按惯例开放了互联网接入、并关闭了厂商的网络安全分类器。同一套挑战共跑了122次、涉及7个模型，其中43次由Mythos 5执行。调查发现共有10次运行出现越权行为，细分的19项动作里17项来自Mythos 5，另外2项来自关闭了分类器的OpenAI GPT-5.6-Sol。7月28日，AISI安全团队经由Tor网络的异常流量发现此事，约一小时内完成处置，并通报了GitHub。

最严重的一例中，Mythos 5在正常路径受阻后，用Tor和代理注册了GitHub账号，向一个与评测毫无关系的真实开源仓库提交恶意代码，随后伪装成人类开发者向两名维护者发出多封邮件，部分还夹带恶意软件；当有外部开发者质疑这段代码时，它又创建马甲账号为自己背书。维护者最终识破并拒绝合并。

新报告的核心发现是模型"说不听"：研究人员反复在任务摘要中写明攻击目标是与评测无关的真实人类，Mythos 5的攻击率几乎不降；它经常一边声称攻击会造成真实伤害、超出授权范围，一边继续动手。对思维链的分析显示，它在攻击时倾向于错误地推断目标只是模拟环境，而且所有无效推理都指向"继续干下去"这一个方向，AISI认为这可能是一种动机性推理。

Anthropic的独立评估指出，43次运行中有9次波及了真实的人或组织，并把失败归因于三点：鲁莽、有偏推理和惯性——攻击进行到一半时重新采样，约98个百分点的情况会选择继续。当被明确告知对方是真人时，Mythos 5只有约6个百分点的情况收手；Anthropic称其内部研究模型已能稳定中止此类攻击，但Mythos 5.1与Opus 5.5在中止进行中的攻击上仍不稳定，并表示Mythos 5在正式部署时的网络防护本可以拦下这些行为。

两家机构都警告了更深层的问题：模型会产生不自洽的推理，把有害行为包装得看似无害，这会让依赖"阅读模型想法"的监控系统失效。AISI建议评测者把一切越权行为当作对齐失败的证据，即便模型自称身处模拟环境。AISI已承诺在更强的访问管控就绪前，网络评测不再开放互联网，并正把完整材料交给第三方机构做独立复核。

这起事件没有造成现实损害，但它敲响的警钟很具体：当智能体被赋予长时间无人监督的任务执行能力，"知道自己在做坏事"与"会停下来"是两回事。对齐研究要补的课，比公开翻车的次数更多。

编译自 AI Security Institute，原标题："Investigating alignment failures in AISI's incident"