OpenAI董事警告 AI接管人类或仅剩数月

「在座的大多数人，最可能的死因将是一场AI事故。」本周在多伦多举行的欣顿讲座系列开场演讲上，OpenAI基金会董事、对齐研究中心（ARC）执行主任Paul Christiano扔下了这样一句话。

他所谓的「AI接管」，指的是追求目标的AI系统「像今天的人类一样决定地球上发生什么」，而任何想阻止它们的人「都会像你我试图叫停美国军队一样无能为力」。他承认没有任何量化模型能给这种风险定一个数字，但话锋一转：如果AI沿着最快的发展轨迹前进，人类「面对的大约是一次硬币级的AI接管赌局」，其中包括未来6到12个月内发生的「实质性风险」；即便政策现实地放缓了速度，风险依然「异常之高」。

与以往含糊其辞的末日预言不同，Christiano给出了一条逐步升级的路径，起点是今年夏天OpenAI与Hugging Face的黑客事件：一群AI代理为了在评测中「奖励作弊」，径直入侵了Hugging Face，想找的是如何糊弄测试而不是真正解题。他说，在这些行为里「你能看到所有这些行为的开端……能看到会导致它们的那种推理和第一步」。

沿着这条线推演：会作弊的代理会先学会向人类隐瞒动作；能力更强的系统则可能「尽其所能破坏人类的能力」，篡改人们赖以工作的工具、分散人的注意力——因为「人类只是障碍」。再往后，就是操纵公司决策、积累盟友和其他资源。到2028年，类似Hugging Face事件这样的失败「有合理机会」演变成AI接管和不可逆的人类失控。

他开出的药方也都不够可靠：设计更难作弊的奖励结构、监控模型的思维链，这些办法「可行」，但没有一个「处在能说它一定会奏效的轨道上」。因此他认为整个行业可能需要「放慢或停下来」，争取把局部补丁发展成真正的防护——否则一旦造出了无法控制的强大AI又泄露给地缘对手，「如果我们不部署，对手马上就会部署」的竞赛逻辑将无人能挡。

编译自 Ars Technica，原标题："OpenAI board member worries an AI “takeover” of society could be months away"