Anthropic警告或临AI自我改进临界点
Anthropic在周一提交的修订版S-1上市文件中,于风险因素部分新增了一段意味深长的披露:按其内部估计,公司可能「即将达到」自家负责任扩展政策中「AI带来的显著加速进展」的定义——这一概念通常被称为递归自我改进(RSI),也就是AI有能力加速构建更强大的AI。
RSI被不少人视为AI发展的关键分水岭:在悲观者眼里,AI一旦擅长训练自身、能力出现爆发式加速,就可能滑向失控的「不归点」;在乐观者看来,它意味着生产力与科学发现的历史性跃升。Anthropic的表态是:机遇与风险并存。
文件披露了两个关键信息:其一,公司已经在研发中使用AI来构建新模型,并且「过去曾未能在当时识别」模型能力的显著跃升;其二,内部估计显示,未来的模型可能很快满足「显著加速」的阈值定义。不过Anthropic强调,目前没有任何现役模型被判定越过这条线,相关数据仍在评估中。

在安全承诺上,公司表示并不打算在缺乏有效人类监督的情况下让Claude完全自主设计、建造一代代前沿模型:「如果出现那种情况,我们不认为可以在没有有意义的人类监督或理解的前提下安全地这样做。」RSI风险正是其负责任扩展政策重点监控的领域。
质疑声同样存在:S-1既是一份法律披露,也是一封推销信——宣称自己即将造出「能自我构建的模型」,难免有IPO叙事的成分。要知道RSI概念今年初刚流行时,业界普遍把它当作营销热词。
无论动机如何,这是头部实验室首次在上市文件级别正式逼近「自我改进」话题:上周Anthropic刚刚交出单季170亿美元营收、233亿美元净亏损的成绩单,如今又把「能力可能加速到来不及识别」写进风险提示——监管者与投资人接下来都得认真对待这个以前只存在于论文里的词。
编译自TechCrunch,原标题:"Anthropic warns that it's very close to RSI capability, aka self-building AI"