AI解出50道未公开物理难题 每题约2.4美元
一个由35名研究人员组成的团队公布了新的AI评测基准TheoPhysEval:50道从未发表过的理论物理研究题,涵盖流体、生物过程、粒子物理与宇宙学等11个分支,每道题都有可验证的答案。出题人来自国际理论科学中心(ICTS)、哈佛大学、鲁汶大学和谷歌DeepMind等机构,据他们估计,相关分支的顶尖专家不用AI解一道典型题大约要花一天。

结果相当扎眼:在OpenAI Codex环境中运行的GPT-6-Astra答对了49道,准确率98%,平均每道题成本约2.4美元,整套基准跑完花费不足116美元。Anthropic的Opus 5.5在Claude Code中以92%排名第二;Gemini 3.8 Flash为68%,开源的DeepSeek-V4.1-Flash和GLM 5.3分别只有54%和42%。
这些题不是奥赛压轴题,而是研究者口中的“拧螺丝”式问题——把已知方法套在略作改动的新问题上。出题人通常把自己近期论文里的计算改几个数值,保证答案无法靠背题猜出;这类工作过去常被交给博士生当作科研入门训练。团队刻意排除了重大开放难题。
两个细节更值得玩味。其一,断网成绩几乎不掉:Astra和Opus离线作答也都拿到92%,作者据此认为顶级模型实际上已“背下”了大部分理论物理文献。其二,一些看似的失误后来被发现是专家参考答案本身有错——修正之后,Astra的答案全部正确。团队还提到,近期有研究发现部分物理基准的评分本身就存在错误,这或许解释了为什么这套更难的基准反而跑出了更高的分数。
唯一让所有模型都栽跟头的那道题,要求写出一个能生成给定曲线的方程——专家解法依赖一些只在广义上成立的特殊数学形式。作者承认这道题“看起来不太公平”,但认为它很现实:研究者常常要从含糊的数据反推背后的物理。
作者在论文中写道,部分最强模型在具体计算上可能已经超过最优秀的人类研究者,这是一个重要里程碑;但物理学界至今没有出现数学界那样的AI突破,差别在于模型缺少科学“品味”——判断哪个问题值得去做的直觉。作者认为自主的顶级AI物理研究可能很快到来,并已经开始讨论这批结果对年轻物理学者培养路径的冲击。题目与测试配置已在Hugging Face上开放下载。
编译自 The Decoder,原标题:“GPT-6-Astra solves 49 of 50 physics research problems at $2.40 apiece”