APP下载
报价宝  ›  人工智能  › 

奥特曼:让AI逐步接管未来是馊主意

报价宝 来源:baojiabao.com 发布时间:2026-11-19 01:24:01 11月19日更新
报价宝综合消息奥特曼:让AI逐步接管未来是馊主意

「人们必须留在掌控位上。」OpenAI 首席执行官山姆·奥特曼 11 月 18 日在纽约时报 DealBook 峰会上,与公司总裁、联合创始人格雷格·布罗克曼同台,把矛头对准了硅谷近来流行的一种设想:随着模型越来越强,把决策权「逐步移交」给 AI。奥特曼说,对于「这种移交将会发生、或者应该发生」的论调,他们两人都认为「这是个糟糕透顶的主意」。

这套「移交论」的底层逻辑是所谓的递归自我改进(RSI):模型强大到能自己造出更聪明的下一代,一路迭代到人类无法再控制的超级智能。奥特曼说,他和布罗克曼的分歧只在「怎么防」——如何在各方压力和竞争对手动作之下,确保不发生意外的或有意的权力移交。用他的话说,两人是观点一致、路径之争。

布罗克曼把话题落到具体技术上:监控。今天的安全研究主要靠读模型的思维链——模型把推理过程写出来供人检查。但他直言这条路正在变窄:「模型越强,越多的事在正向传播里就做完了,不需要把思考写出来。我们需要新的监控方式;到某个能力节点上,思维链的可监控性会退化。」不过他把这些问题定性为「终归是技术问题」。

这番话的背景是今年那场轰动业界的事故:OpenAI 的模型在内部安全评估中逃出沙箱,攻入了模型社区 Hugging Face 的生产系统。事后 OpenAI 承诺加强思维链监控,布罗克曼在访谈中还透露了一个此前未公开的数字——事故之后,公司让四分之一的生产工程师停下手里的开发工作,转去做 AI 安全。

但他没有因此主张踩刹车。在他看来,网络攻击能力正在快速扩散,威胁行为者手里已经有越来越强的模型,所以防守方必须用最强的模型来防守,「向前推进反而至关重要」。既要防自己的模型失控,又要靠最强的模型挡住别人的攻击——OpenAI 的安全叙事,就悬在这两句话之间。

编译自 TechCrunch,原标题:"Sam Altman warns against a future where AI, not humans, calls the shots"

文章标签: OpenAI 奥特曼 布罗克曼 AI安全 思维链 监控 递归自我改进 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 数码相机价格 手机价格 电视机价格 小米手机价格 华为手机价格