APP下载
报价宝  ›  人工智能  › 

编程智能体跑分高 完整交付不足一成

报价宝 来源:baojiabao.com 发布时间:2026-11-23 00:28:05 11月23日更新
报价宝综合消息编程智能体跑分高 完整交付不足一成

报价宝 11月23日消息,一篇11月15日挂上 arXiv 的论文提出了新基准 SWE-CoWork,把编程智能体当「数字员工」放进模拟的软件公司里考核。结果显示,在标准基准上接近满分的模型,一旦面对真实工程流程,完整交付率低得惊人。

基准包含101个开发任务,分布在101个真实代码仓库里,覆盖11种编程语言、12个应用领域。每个任务都配了一个模拟工程组织:26位同事各有职责、各自只掌握一部分信息,协作行为受控。智能体只拿到一份简短的交接说明,需求散落在同事、项目看板、文档版本记录和聊天记录里,有些证据还互相矛盾;它得自己把需求拼出来、改完代码,再面对私有测试。

11个模型参加测试。领先的 Claude-Opus-5.5 与 GPT-6 Astra 能通过约六成三的 fail-to-pass 测试节点(原本失败、改后应通过的用例),但完整做完的任务不足一成。换句话说,它们能通过局部检查,却交不出完整作业。

为了分清是「找不到需求」还是「做不对」,研究者加了 Oracle-Spec 对照组,把完整需求直接喂给模型。Seed Evolving 与 GPT-6 Astra 的测试通过率因此提高约16个百分点,可完整任务成功率原地不动。

过程轨迹暴露了断点在哪。Claude-Opus-5.5 平均把九成三的首个提问指向了正确的责任人,但只从同事那里拿到六成四的需求;被推迟的问题往往没人回头追问,需求拿到了、实现仍不完整,最终交接里自称已完成的需求约有三成通不过测试。

论文的结论并不意外:可靠自主的软件工程,卡点不在写代码,而在从澄清、实现、验证到交接这条线上的持续追踪。这与「Claude 写了公司八成以上生产代码」之类的说法并不冲突——有人兜底的流水线里,智能体很好用;让它独立当一名员工,还差得远。

编译自 The Decoder,原标题:"AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace";论文 arXiv:2611.20218

文章标签: SWE-CoWork 编程智能体 基准测试 Claude Opus GPT-6 软件工程 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 手机价格 笔记本电脑价格 华为手机价格 耳机价格 降噪耳机价格