英伟达开源多模态模型落地SGLang：120B总参数只激活12B，单卡跑出243.9 tok/s
核心概要
英伟达发布开源多模态模型 Nemotron 3.5 Super VL，可接收文本、图像、文档和视频并输出文本，面向需要看屏幕、读文档、调用工具的常驻智能体。SGLang 在发布当天提供部署支持，用连续批处理、前缀缓存和投机解码承载推理。模型采用混合专家结构，总参数1200亿、每 token 激活120亿，并内置多 token 预测；在单张 RTX 6000 PRO 上达到 243.9 tok/s。
深度剖析
常驻运行的 AI 智能体现在有了一个专门面向多模态执行的开源模型可选，它把看图、读文档、看视频与输出可执行文本放进同一次推理。 此前这类智能体工作流通常依赖通用模型分别处理视觉理解与文本生成，而 Nemotron 3.5 Super VL 被定位为 Nemotron 3 家族中高精度的多模态执行模型，与 Nemotron 3.5 Lightning 和 Nemotron 3 Ultra 并列。 模型权重已在 Hugging Face 以 BF16 和 NVFP4 两种格式开放下载，SGLang 同步给出部署入口。
推理侧的关键是把大模型装进可承受的显存与吞吐预算，办法是每次只走一小部分参数。 混合专家结构让模型总参数达到1200亿，但每个 token 只激活120亿参数，从而在保留模型容量的同时控制单次计算量。 SGLang 以连续批处理、前缀缓存、投机解码和 OpenAI 兼容接口承载该模型，并给出容器镜像与启动命令。
模型自带的多 token 预测头被用作投机解码的草稿来源，一次提出多个候选 token 再在解码时验证。 常规逐 token 解码在长时智能体任务上会把延迟累积起来，而多 token 预测让解码阶段并行提出后续 token。 在单张 RTX 6000 PRO 上，配合 SGLang 的投机解码参数，该模型达到 243.9 tok/s；在 Baseten 端点上，Artificial Analysis 智能体任务指数超过 600 TPS。
启示与展望
报道覆盖的是模型发布与 SGLang 部署路径：1200亿总参数、每 token 激活120亿的混合专家结构，文本、图像、文档、视频输入与文本输出，以及 C-RADIOv4 视觉编码、混合 Mamba-Transformer、多 token 预测和 NVFP4 量化等优化。部署目标包括 DGX Spark、1x GB10、B200、B300、RTX PRO 6000、H200 和 2x H100，并可在单张 DGX Spark 与 RTX 6000 PRO 上本地运行。领域适配通过 NVIDIA NeMo 后训练完成。
吞吐对比以“同尺寸类别的其他开源模型”为参照，未在文本中逐项列出对照模型与测试条件。5倍吞吐与4倍任务完成速度分别对应两张图，具体测量细节需回到原图确认。多 token 预测被描述为在保持输出质量目标的前提下加速，质量目标的量化口径未在文本中给出。