跳到主要内容
返回时间线
NVIDIA Blog来源发表:

英伟达把智能体模型铺到桌面:1200亿参数Super VL对标自家最大推理模型,边缘版塞进24GB

核心概要

英伟达发布Nemotron 3.5系列三款开放模型:1200亿参数的Super VL面向多模态智能体任务,在指令遵循、工具调用、多步业务流程和视觉理解上取得领先准确率,与英伟达自家最大推理模型相当,而参数量约为其五分之一;同时推出面向边缘的Bolt 74B-A9B 24GB与Bolt E4B 4GB。Super VL与Bolt 74B-A9B现已可用,Bolt E4B将于10月23日推出,三者覆盖从企业服务器到本地硬件的部署层级。

Source-provided article image: Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models
NVIDIA Research

深度剖析

英伟达把开放智能体模型从单一档位扩展成覆盖数据中心到桌面的三档产品线,企业不必在能力与可部署性之间二选一。 此前Nemotron家族由8月发布的Lightning承担高吞吐负载、Ultra承担最难推理任务,边缘一侧没有对应型号。 Super VL与Bolt 74B-A9B现已可用,Bolt E4B定于10月23日推出,三者共同覆盖从大型企业服务器到边缘设备与本地硬件的部署范围。

Super VL把多模态智能体能力压进更小的参数规模,让企业智能体更快完成跨天、跨周的高频任务。 与英伟达自家最大推理模型相比,Super VL在指令遵循、工具调用、多步业务流程和视觉理解上取得相当准确率,参数量约为其五分之一。 英伟达称Super VL是同类中最快的开放智能体模型,比次优模型快5倍。

Bolt 74B-A9B 24GB用原生2比特量化把模型装进24GB显存,可与其它应用同时运行在RTX/DGX Spark上。 在相近显存占用的模型中,它在智能与速度之间取平衡:足以完成多数任务,又比最聪明的模型快得多。 该模型在PinchBench上为同类第一的开放模型,在BrowseComp上为第二的开放模型。

Super VL以开放权重、开放数据集和训练配方发布,组织可在自有数据上后训练并部署在自有基础设施上。 与封闭前沿模型不同,组织可以自行后训练、自行部署并掌控所构建的系统。 Super VL在预训练与持续预训练中使用了约26万亿token,随后用约380万样本和跨数十个环境的强化学习做后训练;Scale AI、AfterQuery、AI21与Alice、Mercor、ModelScope等机构已在其上做定制。

启示与展望

这则报道面向需要在自有基础设施上运行智能体的研究人员与工程师,覆盖Super VL、Bolt 74B-A9B 24GB与Bolt E4B 4GB三款开放模型的能力定位、可用时间与部署层级。Super VL与Bolt 74B-A9B现已可用,Bolt E4B定于10月23日推出;Super VL可在Hugging Face、Open Router、ModelScope社区以及作为NVIDIA NIM获取,Bolt 74B-A9B 24GB可在Hugging Face获取并支持llama.cpp、Ollama、LM Studio、Unsloth与vLLM。

准确率、速度倍数与榜单名次均为英伟达在发布中的陈述,材料未给出独立评测或与外部模型的逐项对照。Bolt E4B 4GB尚未推出,其表现只有定位描述。Super VL与自家最大推理模型的准确率对比以参数量约为五分之一为前提,材料未列出具体评测集与分数。