英伟达开源120B新模型 主打AI代理
英伟达10月15日发布开源多模态模型Nemotron 3.5 Super VL,这是一款1200亿参数的开放权重模型,专门面向“全天候在线”的企业AI代理场景,可以处理指令遵循、工具调用、多步业务流程和视觉理解等任务。同场亮相的还有两款面向边缘设备的Bolt小模型,三者覆盖了从大型服务器到本地硬件的完整部署梯度。
Super VL采用混合专家(MoE)架构,1200亿总参数中每个词元只激活120亿。英伟达称其在多模态代理任务上的精度可与自家最大的推理模型Nemotron 3 Ultra媲美,但参数量只有后者的约五分之一;吞吐量则是同级别开放模型中最快的,最高达到次名模型的5倍。

作为多模态模型,它的视觉训练瞄准代理在实际工作中遇到的内容:网页和PDF里的光学字符识别、表格、图表等结构化信息。英伟达强调,把文本和视觉统一在一个模型里,企业不必再分别部署两套模型,也不用在任务中途来回传递上下文。官方基准显示,Super VL在Hermes Bench上得分63.44%,超过Ultra的56.33%;图表推理基准CharXiv上得分80.8%,启用Python代码解释后可升至84%。
该模型由Nemotron 3 Ultra蒸馏而来,预训练加继续预训练消耗约26万亿词元,后训练使用约380万样本。英伟达开源了基础版、BF16版和NVFP4四比特量化版权重,以及数据集、训练配方和评测工具;官方的自研投机解码技术LiLiCorr在DGX Spark上可把生成速度再提升2.3倍。
两款Bolt端侧模型里,Bolt 74B-A9B 24GB用原生2比特量化把体积压进24GB内存,可在RTX和DGX Spark设备上与其他应用并行运行,用户可以把搜索、写作、调试代码等代理任务完全留在本地;更小的Bolt E4B 4GB面向GeForce RTX和Jetson,用于本地语音助手和嵌入式界面,预计10月23日上线。
生态方面,已有数十家组织用自有数据对Super VL做后训练定制:Scale AI为Skydance定制供应商信贷代理、为安永定制并购尽调代理,Atlassian用于跨Jira和Confluence的代理搜索,CrowdStrike用于企业安全的自动化蓝队,Ramp则用于财务文档智能。随着开放权重加端到端可定制成为卖点,企业部署代理时在封闭云模型之外又多了一个现实选项。
编译自 NVIDIA官方博客,原标题:“Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models”