APP下载
报价宝  ›  人工智能  › 

OpenAI敞开大门 四机构入驻内部评估安全

报价宝 来源:baojiabao.com 发布时间:2026-11-17 00:46:26 11月17日更新
报价宝综合消息OpenAI敞开大门 四机构入驻内部评估安全

OpenAI近日宣布启动「嵌入式评估」第一阶段,与四家独立机构Apollo Research、METR、Transluce和Goodfire签署协议,让外部专家长期进驻公司内部,对前沿模型的对齐情况和安全防护做独立审查。这是该公司首次把内部模型与系统向第三方深度开放,也兑现其在白宫超级智能协议下所作的独立安全评估承诺。

与以往只拿最终成品做测试不同,嵌入式评估意味着评估者可以获得与OpenAI研究人员相当的内部资源:模型检查点、源代码、训练与评估数据、监控系统和技术文档,并能与相关研究员直接交流。需要接触敏感信息的评估者将在OpenAI办公室现场办公,使用公司设备,并遵守不低于内部员工的安全标准。

四家机构的分工各有侧重:Apollo Research重点评估模型是否会暗中违背开发者意图,将分两个阶段检验训练是否激励「颠覆行为」、强评估与红队测试是否会诱发此类行为、内部使用期间有无尝试以及相关推理能否被检测;Goodfire派出可解释性研究人员,用其平台分析模型内部机制,服务训练运行的监控、调试与对齐;METR计划开展两项评估,一是审查OpenAI迄今最大规模强化学习运行中的错位行为,二是此前三周监控红队测试之后的更大范围监控评估;Transluce则对OpenAI后训练对齐评估的质量与覆盖度做初步审查,双方还计划2027年初进行约8周的后续评估。

监督与制衡机制同样明确:OpenAI基金会董事会下属的独立安全委员会全程监督评估,接收未删节报告,可私下与评估者沟通;分歧先上报安全顾问小组限期解决,谈不拢就由安全委员会裁定。评估者保留独立发布结果的权利,但OpenAI可要求删改机密信息,或以「负责任披露」为由延迟公布可能带来安全风险的发现。各机构也披露了利益安排:Apollo与Goodfire收取与结果无关的报酬,METR和Transluce不收报酬。

OpenAI表示,未来将把嵌入式评估扩展到更广泛的安全议题,并探索评估安全框架合规性、组织文化与流程,目标是让独立评估和公开透明成为行业的共同标准。

编译自 OpenAI,原标题:"Our first phase of embedded assessments"

文章标签: OpenAI 安全评估 AI对齐 Apollo Research METR 可解释性 嵌入评估 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 报价宝 数码相机价格 手机价格 笔记本电脑价格 红米手机价格