OpenAI首次公开模型困惑度 提议设共同上限
11 月 22 日,OpenAI 首席科学家 Jakub Pachocki 在官方博客发表长文《困惑度与智能》,首次公开公司内部追踪多年的预训练困惑度(perplexity)曲线,并提议把这一指标变成跨实验室可比的“通用能力标尺”,在此基础上为前沿模型设定共同的开发上限。

困惑度衡量的是模型平均能多准地预测下一个词,数值越低越好,数学上等价于交叉熵损失。Pachocki 给出的自家数字是:GPT-3.5 在对内主评测集上的对数困惑度约 0.99,对应最初的 ChatGPT;GPT-4 约 0.91,恰好是思维链推理开始稳定可用的水平;目前已经跌破 0.8,随之出现的是数学与网络安全领域的“变革性”能力。
他把这条曲线当成能力突变的刻度:模型升到约 0.76 时开始连续产出突破性数学结果,据此推测 0.68 至 0.70 的区间还会冒出一批今天连测试题都没准备的能力。文章附的曲线显示 2026 年出现陡峭加速,他把主要原因归于长期的研究与算力投入,自动化只占较小部分,但最新模型里已经能看到“来自 AI 的设计贡献”。
真正的提议在文末:既然新能力主要来自“把压缩做得更好”,困惑度就可以当作各实验室通用的进度表;他建议前沿模型开发商共同订立评测与红队规范,并设一条“共同上限”——在监控手段达到明确里程碑(例如出现思维链监控器的继任方案)之前,任何一家都不越过由困惑度等指标划定的红线。
他也承认这条路的难点:不同实验室用不同评测集、不同数据配比,数字很难直接横比;公开自家进度还会让竞争对手看清位置。但在他看来,这些顾虑比不上尽快建立行业共享安全基线的紧迫性。
值得注意的是,本月早些时候 OpenAI 刚允许四家独立机构进驻内部做现场评估。把训练进度压缩成一条可比的曲线,某种意义上等于把“要不要踩刹车”从各家内部判断,变成可以摆上桌面的行业议题。
编译自 OpenAI 官方博客,原标题:“Perplexity and Intelligence”