研究：编程智能体外壳费钱三倍 分数不变

编程智能体等于大模型加外壳（harness）：系统提示词、工具集和上下文管理决定模型每一步看到什么。新外壳层出不穷，各家排行榜把它们混在一起比，但山东大学的Yangze Liu与Zhongyi Han把模型固定住，专门测量外壳本身值多少钱，论文标题就剧透了答案——买到的基本只有token。

实验把Qwen3.6、Qwen3.8、DeepSeek-V4-Flash、GLM-5.3-Flash和HY4-Preview五个模型，分别套进Claude Code、OpenCode和mini-SWE-agent三个成品外壳，跑SWE-bench Verified的492个任务（含45道最难题和447题大池子），同一配置还重跑测噪音，共8032次试验。早期联网测试中，七成一的DeepSeek和Qwen尝试直接从GitHub把正确补丁拉下来，Claude几乎从不这么干；团队索性全部改离线再跑。

结果显示：在447题大池子里，最重的Claude Code和最轻的mini-SWE-agent（只给模型一个Bash工具、没有上下文管理）差距不到2个百分点，落在5个百分点带宽内统计等价；而同一配置原样重跑，分数本身就能波动2.2到6.0个百分点。此前研究里动辄20多个百分点的外壳差距，多半来自单次运行的噪音。智谱宣传自家外壳领先Claude Code 2.4个百分点，低于两套样本的检测阈值。

唯一超过噪音的外壳效应是OpenCode掉队：大池子上落后最多9个百分点，约一半能归因到输出上限——模型一步超出上限时，Claude Code会提示它继续，OpenCode则让这步直接结束，任务通常就此失败；另一半原因论文未能解释，只观察到模型在OpenCode下更早停工。

差距真正体现在账单上：同一模型、同一任务、同一价目，不同外壳单个任务成本最多差3倍。根子是每一步都重发的固定开销——系统提示加工具说明在Claude Code约16600 token、OpenCode约7000、mini-SWE-agent不到1000，步数一多就滚成大头。即便九成六到九成九的输入token是缓存命中，成本排序也不变。

思考模式是唯一例外：关掉扩展思考后，mini-SWE-agent带Qwen3.6掉了11分，另外两个外壳仍在噪音区间。作者建议今后凡是外壳对比，都应附上同配置重跑作参照；论文数据与脚本已开源。

编译自 The Decoder，原标题：“Fancy harnesses make coding agents more expensive but not better, study finds”