AI编程智能体实战考 仅四分之一全对

阿里等机构的联合研究团队用真实用户需求搭了一套新的编程智能体测试集 Co-Design Bench，结论并不好看：即便是表现最好的模型，也只有约四分之一的任务能被完整做对。而这些模型在旧基准上的得分，早就超过九成九。

测法不是出题写代码，而是改项目。智能体要在已有的网页应用上完成用户提出的修改请求，输入可能是图片、录音、视频或文档。团队刻意挑选了真实使用中「用户反复改口、多次回滚」的案例，让题目自带 AI 容易翻车的坑，范围从小改动（比如从收据里读出一个金额、并同步更新所有相关合计）到整站级重构。

成绩单相当刺眼。得分最高的 GPT-6 Astra 平均能满足一项任务约七成的要求，但完全正确率只有两成六；更多时候它把大头干完了、只差某个细节，于是人类还得自己收尾。其后依次是 Claude Opus 5 与 Qwen3.8-Max，Grok 4.6 垫底。在体量更大的整体重构任务上，参数量小得多的 Qwen3.8-27B 反而升到第二，作者强调这不足以推出普遍优势。

分赛道看，GPT-6 Astra 在多模态任务里完整解出约四成，在代码仓库类任务里不到两成。规律很清楚：一项任务叠加的改动类型越多——布局、视觉、交互、内容同时上——所有模型成绩都往下掉，而这恰恰是真实工程的常态。

堆算力也不管用。GLM-5.2 在较小的改动上烧掉的 token 接近 GPT-6 Astra 的六倍，分数依然明显更低。

研究还发现，跑分很大程度取决于「外套」。同一批模型换用不同的智能体运行环境，Qwen3.8-27B 在大重构任务上可以是 75 分、也可以是 56 分；两个模型谁更强，甚至会随环境翻转。作者因此建议：公布成绩时模型与运行环境要一起报，企业选工具也得把两者当组合来测。

这套基准也有局限：每个任务只有一次固定请求，没有追问与中途纠偏；充当裁判的模型也可能误判。此前 METR 的研究就发现，AI 生成代码在真实项目里的采纳率，比 SWE-bench Verified 的分数低约 24 个百分点。换句话说，榜单接近满分不等于能交付，离「扔一句需求就自动上线」，业界还差着一条手工收尾的流水线。

编译自 THE DECODER，原标题："AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test"