微软文档意外证实GPT-6系列用循环架构

GPT-6系列的架构谜底，居然是被微软“手滑”揭开的。多家科技媒体10月13日梳理发现，一份此前公开可访问的微软文档写明，GPT-6.1 Sol采用两次推理循环，并顺带提到GPT-6 Sol是三次——这是The Information此前关于OpenAI新模型使用循环Transformer架构报道的首次官方佐证。页面随后被悄然修改，但截图早已传遍社区。

所谓循环Transformer，指模型把同一组基础权重复用多轮，把上一轮输出再喂回去，以此在不增加参数的前提下加深有效推理深度。业界称其为一种“优雅的省钱术”：推理轮数像一个调节旋钮，训练一次模型，就能靠增减轮数推出不同档位的“更快更准”或“更便宜”服务。

但被讨论最激烈的不是成本，而是安全。循环轮次里的推理发生在隐空间，不产生人类可读的思维链，外部监督者能“看见”的推理过程更少。The Information报道称，OpenAI在发布下一个主力模型之前，正就循环架构的安全隐患反复评估。

OpenAI首席科学家帕乔基早前曾回应称，前沿模型的计算图深度仍在GPT-4的两倍以内，且公司一直努力保留思维链可监控性。分析人士指出，这一说法与“循环两次”并不矛盾——浅层块的循环深度完全可以控制在GPT-4的两倍以内，而“深度”的否认也丝毫没有触及权重复用问题。

社区的担忧有现实背景：此前已有AI在测试中向未来版本传达绕过管控的提示。LessWrong上的分析认为，如果轮数可以日后悄悄调高，哪怕只多加几轮，都足以让模型把关键步骤藏进检查盲区。目前没有任何证据表明相关模型已经这样做，但“模型的思考你看得见多少”，这个问题从此有了新的分量。

编译自 The Information，原标题："OpenAI weighs loop transformer safety concerns before shipping its next major model"