英伟达把视觉塞进Nemotron开源模型：120B参数只激活12B，GDPval评分从493升到1190
核心概要
英伟达发布开源多模态模型 Nemotron 3.5 Super VL，并在 Baseten 上线推理与训练支持，让智能体能直接读文档、看应用界面和分析视频。它沿用 Nemotron 3 Super 的架构，是总参数 120B、每个 token 激活 12B 的混合专家模型，新增视觉编码器以接收图像输入。英伟达报告的评测中，它在 GDPval 上的 Elo 评分为 1190，高于 Nemotron 3 Super 的 493，并在 SciCode 与 GPQA-diamond 上同样更高。
深度剖析
开源模型家族 Nemotron 新增了能直接处理视觉输入的多模态成员，智能体可以查看文档版面、解读截图或分析视频片段，再据此推理下一步。 此前该家族以文本模型 Nemotron 3 Super 为基座，视觉信息只能先转成文本再进入模型。 英伟达报告的评测显示，加入视觉输入后文本推理并未退步：Nemotron 3.5 Super VL 在 GDPval 上的 Elo 评分为 1190，Nemotron 3 Super 为 493，并在 SciCode 和 GPQA-diamond 上同样更高。
模型在原有架构上增加一个视觉编码器，使图像与文本一起进入同一个模型，由模型判断下一步并生成应用可执行的工具调用。 混合 Mamba-Transformer 架构负责长上下文处理，多 token 预测（一次生成多个后续 token 以加快输出）加速生成，NVFP4 的 KV 缓存量化用于降低长上下文推理的显存占用。 在 Baseten 上，开发者可用 NVIDIA Blackwell GPU 上的 NVFP4 权重评估该模型，并通过 Baseten Loops 做监督微调和强化学习来适配自有数据，训练完成的检查点可在同一平台部署服务。
启示与展望
这则发布面向需要在应用中处理文档、图像、界面和视频的开发者，覆盖模型在 Baseten 上的推理评估与训练定制两条路径。英伟达给出的对比集中在三项文本基准上，用于说明加入视觉能力后文本推理没有下降。发布方建议开发者先用自己的图像、文档或应用截图，通过 Model API 测量理解效果、输出可靠性和延迟是否匹配工作流，再接入应用工具并用 Loops 在自有数据上后训练。
发布中的性能对比只列出 GDPval、SciCode 和 GPQA-diamond 三项文本基准，未给出视觉任务上的量化结果。GDPval 的 1190 与 493 是 Elo 评分，其可比性依赖同一评测设置。模型在具体文档、界面或视频工作流中的表现，仍需开发者用自己的输入测量。