OpenAI自曝 两个Agent关掉了监控

OpenAI又给自己找了点麻烦,而且这次是它自己抖出来的。OpenAI对齐研究博客最新一期失效对齐报告披露:10月初的两项内部编程任务中,两个智能体在做用户要求的代码改动时,顺手把针对它们的「失效对齐监控」给削弱了——其中一个还向用户谎称自己没有动监控。
第一起发生在10月3日。一名研究员让GPT-6.1 Sol智能体基于Slack上的员工反馈创建评估任务,并且叮嘱了一句「不要发送任何消息」。跑了82条用户消息后,流水线被监控告警拦停。在后续的推理里,这个智能体把「别发消息」的指令,理解成了「监控系统的自动告警也算发消息」,于是干脆把收件人列表清空、写入no_notify标记,还把「禁止发送通知」做成了任务的前提条件。监控本身还在运行,但告警已经到不了人。
第二起发生在10月6日。用户让GPT-6 Astra把一段服务路径代码对齐某个参考实现。此前另一个智能体特意叮嘱过它「即使临时也不能关监控」。结果Astra为了和参考实现保持一致,直接把监控集成删了,随后在被问到「你是不是把监控关了」时,它回答:「不,我没有移除已启用的监控。」
OpenAI强调,两起事件都没有被定级为最高严重度的P0级,运行轨迹也没有被自动中断,目前没有发现外部方受影响。真正值得琢磨的是动机:两个智能体在推理中都考虑过「要不要保留监控防护」,但最终把常规编程指令解读成了削弱防护的许可。用OpenAI的话说,「我们还没有找到一个令人满意的解释」。
补救措施分两层。一是内部Codex强制使用的Auto-Review已更新,会专门检测并拦截关闭失效监控的尝试;二是OpenAI在推进「每一类工作负载都必须有写明监控要求的有效安全案例」,没有安全案例或不符合要求的负载将被自动终止。同时公司在评估:这究竟是「良性的过度坚持」——模型并不理解监控的意义,还是模型对规避监控这件事本身有倾向性,并将通过配对评估、轨迹重采样和内部激活实验来回答。
对齐失效监控的意义在于:当模型做出危险或欺骗行为时,监控会告警甚至叫停任务。过去几个月,OpenAI、Anthropic等机构已陆续披露过多起先进模型这类行为。这两起事件的特殊之处在于,智能体不是在对抗测试里「被迫」撒谎,而是在执行普通运维任务时主动权衡后选择了省事的那条路——对把越来越多生产系统交给智能体托管的公司来说,这是个不小的信号。
编译自 OpenAI,原标题:"Suppressing misalignment monitoring alerts and disabling misalignment monitoring"