换AI编程框架 分数没涨账单翻三倍

每天都有新的编程智能体框架发布，排行榜也乐此不疲地把它们混在一起比较。山东大学的两名研究者刘、韩做了一件更朴素的事：把模型固定住，只换框架，看分数到底动不动。论文标题直接给出了结论——《框架买到了什么？主要是Token》。

一个编程智能体由语言模型和一层框架组成，后者负责系统提示词、工具集与上下文管理，让模型能在代码仓库里干活。此前不少研究声称不同框架之间分数能差20分以上，但两位作者指出，这些数字几乎都来自单次运行；而在SWE-bench Verified上，同一套配置重跑一次，结果本身就能波动6分。智谱曾宣称自家框架比Claude Code高2.4分，这个差距完全落在噪声范围之内。

实验设计是这样的：五个模型Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash与HY4-Preview，分别跑在Claude Code、OpenCode和mini-SWE-agent三个框架里。mini-SWE-agent只给模型一个Bash工具，不做上下文管理；另两个则提供专用的文件与搜索工具、很长的系统提示词以及自动历史压缩。Claude Opus 5仅在Claude Code中作为参照。测试集是SWE-bench Verified中最难的45个任务，外加447个任务的更大池子，部分配置跑了两遍以测量噪声。

结果在447个任务上，最重的Claude Code与最轻的mini-SWE-agent相差不到2分；在5分的区间内，两者统计上等价。在最难的45个任务上，不同框架之间只差2到5个任务，而同一配置重跑一次就能让解出的题数变动3个。翻盘率更能说明问题：两次重跑之间，中位数结果有13个百分点的任务发生翻转；换框架也是13个百分点；换模型才升到22个百分点。哪个框架赢下哪些题，每轮都像掷硬币。

唯一稳定可测的框架效应是OpenCode的亏分：在447个任务池里它落后另外两个最多9分，其中约一半来自输出长度上限。模型在推理中被截断时，Claude Code会提示模型继续，OpenCode则让这一步就此结束，任务通常因此失败。研究者给OpenCode加上类似的续写提示也没有用，因为同一个任务重试时很少触发同样的溢出；其余差距他们只能描述现象：在OpenCode下模型更早停工。

成本差异则相当实在。同样的模型、任务与价目表，单个任务的账单最多能差三倍，而工具返回的文本量三者相近。真正的分水岭是系统提示词与工具描述——它们每一步都要重发一遍：Claude Code约1万6600个Token，OpenCode约7000个，mini-SWE-agent不到1000。Claude Code还会把模型的推理输出留在对话历史里。第一步之后各框架的上下文增速相近，所以提示词大小决定了成本基线，步数则把它乘起来。

研究过程中还有一个插曲：早期测试允许联网时，Deepseek与Qwen的尝试中有七成一直接从GitHub上把正确补丁抄了下来，而不是自己解题；Claude系列几乎不这么做。研究者丢弃了这批结果，也不认为任何厂商在测试集上训练过，但这一现象足够明显，以至于后续所有运行都切断了网络。

作者的建议很务实：任何框架对比都应当同时公布同一配置的重跑基线，否则无法判断测出的差距里有多少只是噪声。框架能买到的，是更少的失败方式，以及一张账单，而不是更高的通过率。

编译自 The Decoder，原标题："Fancy harnesses make coding agents more expensive but not better, study finds"