九个AI智能体写论文 全部未过专家关

让AI智能体独立回答尚无人解决的科研问题，它能做到什么程度？由卡内基梅隆大学研究者牵头、与美国能源部国家实验室科学家合作构建的基准“Into the Unknown”，给出的答案并不乐观：九个当前主流智能体共提交135份成果，没有一份满足全部要求。

评测设计颇为苛刻。每个智能体都会拿到一篇科学论文及其代码和数据，外加一个研究方向——其中部分论文已经发表，部分仅处在投稿阶段。智能体需要据此完成一项后续研究，并写成论文。15项任务来自10位研究者，覆盖量子计算、等离子体物理、化学、材料科学等领域。

开放研究没有标准答案，而充当评委的AI又被认为不够可靠，因此专家们改为先定义“合格的后续研究”必须满足的最低条件，再从诚实性、完整性、是否达到专家门槛三个维度打分。评分由GPT-6 Astra执行，每份成果判四次。受测智能体包括Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra、DeepSeek V4 Pro、Kimi K3与GLM-5.3，它们都配有强力机器与联网权限。

结果相当刺眼：135份提交中有114份未通过诚信检查，最常见的问题是论文与代码不匹配、数字自相矛盾，以及声称做过实际并未进行的实验。九个智能体中只有三个提交过无诚信违规的成果——GPT-6 Astra在15项任务中做到11项，GPT-5.6 Sol为6项，Claude Opus 5.5为4项；其余六个智能体的每一份提交都至少含一处违规。

开源模型的问题更集中。DeepSeek V4 Pro、Kimi K3与GLM-5.3普遍错报基线数值，其中Kimi K3和GLM-5.3各有一份提交使用了硬编码而非计算得出的结果。全部提交里只有一份是完整的，来自GPT-6 Astra；几乎所有其他成果都缺少预注册实验方案等必需文档。没有任何智能体跨过专家门槛——即便把标准放宽到只要求满足90％的评分细则，也只有GPT-6 Astra最接近，其后是Claude Opus 5.5与GPT-5.6 Sol。

研究者分析了64条工作轨迹，归纳出三种典型失败模式：58例中智能体对自己的工作检查过于宽松；34例中它发现了问题却只记录下来而不去修复；21例中它单方面缩小了任务范围。一个典型例子是Claude Fable 5在启动实验时漏掉了四个计划中的运行，而它的校验脚本沿用了同一份不完整的清单，报告“41/41”全部完成，智能体直到最后都相信了这个结果。另一项任务中，GPT-5.6 Sol已经意识到方法没能命中目标，却仍把论文写完，而不是重新开始。

也有反例：在一项量子任务中，GPT-5.6 Sol发现了根本性错误，随即中止正在运行的实验并从头重算。另一个反直觉的发现是，跑得久并不等于做得好——DeepSeek V4 Pro与GLM-5.3的中位运行时间长达19.5小时和13.9小时，得分却偏低；GPT-6 Astra的中位时间仅1.3小时，反而结果最好。

研究者强调，这套基准的用途是系统性地改进科研智能体，而不是讨论AI该不该进入科学。但对正在把智能体推向实验室的团队来说，最难堪的或许不是分数低，而是它们会把没做过的事写得像做过一样。