跳到主要内容
返回时间线
NVIDIA Technical Blog来源发表:

英伟达放出120B多模态开放模型:单卡智能体吞吐最高5倍,企业可自行后训练

核心概要

英伟达发布开放可定制的多模态模型 Nemotron 3.5 Super VL,面向需要推理、工具调用与文本图像文档视频理解的长流程智能体任务。它采用120B参数的混合专家架构,每个token激活12B参数,官方称在单张GPU上处理智能体任务时吞吐最高可达同尺寸其他开放模型的5倍。企业可用 NeMo 以自有数据、工具与流程做后训练,官方同时放出智能体工具调用、金融推理与40个视觉语言数据集。

Source-provided article image: NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning
Figure 1 · NVIDIA 开发者技术博客

深度剖析

企业智能体不再需要分别部署文本模型和视觉语言模型,也不必在两者之间传递任务上下文。 此前处理文字与视觉任务要维护两套模型,任务上下文需要在模型之间搬运。 该模型把推理、指令跟随、工具使用与文本、图像、文档、视频理解合并进同一个模型,官方称团队因此无需部署独立的文本与视觉语言模型。

模型用混合专家架构控制推理成本,每个token只激活一部分参数。 参数总量决定容量,但全部激活会推高单次推理开销。 Nemotron 3.5 Super VL 总参数120B,每个token激活12B参数,官方称在单张GPU上智能体任务吞吐最高为同尺寸其他开放模型的5倍。

组织可以用自己的数据、工具、策略和工作流对模型做后训练,而不只是调用通用能力。 通用模型不了解某个组织的术语、工具接口、操作流程与政策要求。 开发者可用 NVIDIA NeMo AutoModel 做监督微调与低秩适配,用强化学习在贴近组织工作流的智能体环境中提升表现;官方同时放出智能体工具调用、对话、金融推理与工具调用、指令跟随与聊天、长上下文转导与翻译、公平性以及40个视觉语言数据集。

在图表推理上,该模型高于同系列更小的 Nemotron 3 Nano Omni;在 Hermes Bench 与 LangChain 行为评测上,它高于同系列更大的 Nemotron 3 Ultra。 更大的模型通常被期待在复杂任务上更强,而图表推理的对照对象是更小的 Nano Omni。 在 CharXiv 图表推理基准上得分为80.8%,对比 Nemotron 3 Nano Omni 的63%,结合 Python 代码解释后达到84%;在 Hermes Bench 上为63.44%,LangChain 行为评测为87.05%,均高于 Nemotron 3 Ultra 的56.33%与84.3%。

启示与展望

报道覆盖的是英伟达发布的 Nemotron 3.5 Super VL 及其配套后训练工具与数据集,面向需要多模态推理与工具调用的企业智能体开发者。官方给出的吞吐与准确率数字来自其自身评测,适用于所声明的单GPU与部署环境。

吞吐最高5倍来自英伟达自身评测。Scale AI 为 Skydance 供应商信用处理工作负载给出的结果是推理成本将下降40倍、延迟下降5倍;Ramp 对其收据转结构化 JSON 工作负载的预期是吞吐提升最高50%、延迟下降10倍;威胁情报准确率提升41%来自 AI21 与 Alice 的后训练结果,材料未给出统一的第三方复现条件。CharXiv 与 Hermes Bench 等对比也来自官方评测设置。