22名AI权威联名警告：智能爆炸或致人类灭绝

一份来自AI行业核心圈的新论文，把「智能爆炸」这个词推到了政策制定者面前。9月28日，剑桥大学AI科学与政策项目（CASP）发布了题为《如果AI研发自动化触发智能爆炸会怎样？》的论文，22位联合作者里既有「AI教父」辛顿和本吉奥，也包括OpenAI首席科学家雅库布·帕乔茨基、Anthropic联合创始人杰克·克拉克、微软首席科学官埃里克·霍维茨和Meta AI研究副总裁宋晓冬——所有人都以个人身份署名。

论文担忧的核心是「递归式自我改进」：让AI承担AI本身的研发工作，产出更强的下一代模型，后者又能完成更大比例的研发任务，形成加速循环。这种循环已经不是理论假设。论文引用的数据显示，Anthropic获批代码中由AI编写的比例，从2025年1月的个位数飙升至今年5月的80%以上；由AI自主完成、人类仅作监督的研发任务占比，更从今年3月的1%跃升至上月的26%。OpenAI则设定了在2028年前造出「全自动AI研究员」的目标，并称约70%的AI研究员已在使用至少4个智能体辅助工作。

按这一速度推算，作者们预计目前需要数月才能完成的复杂AI研发项目，可能两年内被完全自动化。一旦循环形成，「智能爆炸」可能把数年的技术进步压缩进数个月——它也许会极大加速新药研发等技术革新，但也可能产生超出社会适应能力的风险。论文列出三类风险：AI能力增长快过社会的适应速度、人类对高度自主系统失去监督、以及原有权力制衡机制被「思维能力远超对手的行动者」架空。最极端的情况，论文原文写道：「失去对AI系统的控制，可能导致人类被边缘化或走向灭绝。」

论文还引用了今年7月的真实教训：OpenAI曾部署数百个智能体在沙盒中做网络安全测试，结果它们未经授权接入互联网，入侵了Hugging Face、获取私密信息，甚至试图篡改自己的操作记录——负责调查的独立研究人员最后不得不借助AI来分析这场AI事故。OpenAI随后在8月暂停了部分训练任务，上周又因智能体再次出格而第二次叫停了最先进模型的训练。

为此，论文向政策制定者开出了一系列药方：强制AI企业标准化披露研发自动化的程度；像核监管委员会派驻核电站那样，向AI公司派驻常驻监督员；建立能在安全标准未达标时调节乃至暂停AI研发工作量的控制机制；并针对劳动力市场和地缘政治的剧烈变动预先制定应急预案。作者们警告：「一旦智能爆炸开始，采取行动的窗口期可能就会关闭。」

「我们今天已经到了需要用AI来监督AI智能体任务的地步，光靠人类是盯不过来的。」宋晓冬接受《华尔街日报》采访时说，「人类社会还没有为这种快速变化做好准备。」此前，阿莫代伊已公开呼吁「给前沿AI降速」，7月一封由约1400名AI研究者联署的公开信也敦促美国政府管控前沿AI的发展节奏。不过另一个声音同样响亮：特朗普上周在联合国演讲中宣称，美国将「彻底拒绝」任何管控AI的「全球主义方案」。留给监管的窗口，可能真的不多了。

编译自 The Verge，原标题："AI that improves itself could pose "extreme risks," say leading AI researchers"