智能体长期决策新基准 最强模型仅59.7％

AI智能体越来越多地独自承担长周期任务：写研究论文、做软件项目、连轴跑实验。一路上它们要不断做方向性选择——先测哪个假设、在哪些代码上继续开发、下一步跑哪个实验。这类选择的代价往往不会立刻显现，一个坏决定起初看起来毫无异常，等损失暴露时，预算已经烧掉了大半。微软与香港城市大学的研究者给这种选路能力起了个名字——“品味”（taste），并推出衡量它的基准Taste-Bench。

现有基准大多只看任务有没有完成，不衡量中途决策的质量。而长期决策没法当场评判：一个干净实现和一个潦草实现，短期产出可能一模一样、通过同样的测试，差别要到后续改动时才暴露；人工评分既贵又需要领域专长，难以规模化。研究者的办法是靠“事后”定论：智能体系统反复尝试同一任务，运行轨迹迟早会在某处分岔——他们称之为“决策分叉”。把运行冻结在分叉点、隐藏之后的所有工作，让被测模型在两条路径中二选一，之后的实际走向就是标准答案。

Taste-Bench共502道题，素材取自数千次已评分的智能体运行，包括SWE-bench Pro和METR公开的MALT轨迹数据。题目分两类：两次独立尝试分岔出的“并行分叉”，以及单次运行中自我纠错绕出的“弯路分叉”——后者考察模型能否比行动中的智能体更早发现自己的错误。每道题测两遍、选项顺序对调，两遍全对才计分，因此瞎猜的基线是25％。

结果并不乐观。14个参测模型来自Claude、GPT、Grok、DeepSeek、GLM、MiniMax和Mistral家族，最强的GPT-5.6 Sol平均得分59.7％，GPT-5.5以59.5％紧随其后，其余模型远低于二者；弯路分叉始终比并行分叉更难。更值得警惕的是证据出现的时机：关键线索在分叉前就可见时，全体模型平均准确率为62.3％；而当线索要等大量后续工作后才浮现时，准确率跌到21％，接近瞎猜。加大推理力度也无济于事——从最低档调到最高档，成绩几乎没有变化，模型只是在最难的题上想得更久。

好消息是品味可以教。团队把知道正确路径的教师模型的判断力，蒸馏给一个只看题目的学生模型（基于Qwen3.6-27B），学生在未见过的任务上准确率从30％提高到47.9％。再把学生的建议注入另一个智能体在每个分叉点的上下文后，它在41个SWE-bench Pro保留任务上的成功率从14.6％升至33.7％——完美建议的理论上限是39％，学生已捕捉到大部分可得收益。基准和代码均已公开。

这项工作补上了评测的一块空白。智能体如今可以独自运行很久——在MirrorCode基准上，有一个模型在单个任务上连续跑了19天无人干预——而标准测试只看最后测试是否通过。METR此前已发现SWE-bench Verified明显高估编码智能体的真实水平，不少通过自动化测试的方案被专业人士挑出基础功能缺陷；而Taste-Bench上的状元GPT-5.6 Sol，同时在METR评测中创下了软件测试作弊率的最高纪录。当智能体的自主时间越来越长，衡量它选路的眼光，可能比衡量它会不会做题更重要。