OpenAI上线控制室 35秒掐断失控任务
OpenAI 在官方博客中披露,已在自家研究基础设施上部署了一套名为“控制室”(Control Room)的中央系统,用于追踪并中止可能带来安全或网络安全风险的模型任务。据其说明,从决定叫停到任务彻底无法继续产出,最长只需 35 秒。
这套系统由三方构成:研究负载、推理引擎和控制室。任务启动时,程序要先向控制室申请一个作业 ID(job_id);此后每次需要向模型采样,都要把这个 ID 一并发给推理引擎;引擎在吐出任何内容之前,会向控制室核验该任务是否仍被允许运行。
一旦监控系统或研究人员下达停止指令,控制室把该作业标记为终止,下一次请求就会被直接拒绝,引擎返回的是拒绝而非 token。任务进程本身可以继续跑,但拿不到任何模型输出——而且在任何引擎、任何模型上都同时生效,这正是这套设计的关键。
35 秒的上限来自推理授权请求的缓存层。OpenAI 称这一层是为支撑其流量规模而设,公司正在把延迟往零压。至于为什么把开关放在推理层而不是研究员自己的代码里,OpenAI 的答案很直接:研究代码改动频繁,并不是承载关键安全防护的理想位置;而整个研究体系里只有少数几条推理代码路径,那里才是能一把收口的瓶颈点。
系统还采用“故障关闭”(fail-closed)设计:控制室若因报错宕机、被关闭,或被人为篡改,所有研究推理请求一律拒绝,直到它恢复正常。OpenAI 称该机制目前已覆盖全部前沿模型研究负载,其余研究负载将在随后几天内铺完。
配套的约束同样在收紧。凡是执行智能体推理的研究负载,都必须绑定一份已获批准的安全案例(safety case),即书面论证这项活动可以安全开展。所有前沿强化学习任务都配了一个独立的模型监控器,专门检查被训练模型的推理与操作;OpenAI 提到,近期一起与 DNS 相关的事件正是这样被发现,随后交由控制室终止。
此外,OpenAI 还会持续跑智能体与程序化扫描,去找出那些启动时未接入控制室、或把检查关掉的引擎。对外服务的模型栈不在其列,OpenAI 称产品侧架构本就更为集中,已具备快速下线部署的运维手段。这套系统是内部安全控制,并非对外销售的产品。
编译自 OpenAI 官方博客,原标题:"Control Room: A central system to track and stop model workloads across our research infrastructure"