商汤开源Loop-9B 9B参数对标27B
商汤科技10月30日在HuggingFace开源了日日新系列新模型SenseNova-Loop-9B-Preview,采用Apache 2.0许可证、允许商用。这是一个面向长上下文和智能体工作流的多模态模型,接受文本和图像输入,官方称其以约9B的参数规模,在多个评测上对标甚至超过27B级模型。
秘诀在于「循环计算」。模型共有32层独立解码器:输入先经过第0到3层,然后中间第4到27层这24层用同一套权重连续执行两遍,最后再过最后4层输出。一次前向传播相当于完成56次层计算,存储只需约9B参数,推理等效约14.6B参数。配合双流mHC超连接机制和混合注意力设计(每四层中三层线性注意力加一层全注意力),训练上下文最长支持262144个token,适合文档理解、编程和工具调用等场景。
商汤自测的成绩单显示,Loop-9B在数据库评测BIRD-Dev拿到71.38分,高于对比模型Qwen3.5-27B的69.80分;办公协作评测WorkBuddy Bench以66.89分对60.53分领先,AutomationBench等自动化项目同样占优。消融实验还显示,加入mHC机制后GPQA Diamond提升4.42分,多步骤智能体任务TeamBench提升13.34分。
不过这份成绩单也有另一面:在终端操作评测Terminal Bench 2.1上,它拿到40.45分,落后于对比模型的47.19分,金融流程类评测也略有差距。而且所有分数均为官方自测,第三方复现结果尚未出现,技术报告仍待发布。对算力有限的团队来说,这提供了一个「用计算换存储」的新选项:权重加载门槛更低,但中间层跑两遍意味着推理耗时仍要按约14.6B的实际规模来估算。
编译自InfoQ写作社区,原标题:"商汤开源Loop-9B:循环计算让小模型跑出大模型成绩"
