英伟达开源多模态模型落地SGLang:120B总参数只激活12B,单卡跑出243.9 tok/s
英伟达发布开源多模态模型 Nemotron 3.5 Super VL,可接收文本、图像、文档和视频并输出文本,面向需要看屏幕、读文档、调用工具的常驻智能体。SGLang 在发布当天提供部署支持,用连续批处理、前缀缓存和投机解码承载推理。模型采用混合专家结构,总参数1200亿、每 token 激活120亿,并内置多 token 预测;在单张 RTX 6000 PRO 上达到 243.9 tok/s。
英伟达发布开源多模态模型 Nemotron 3.5 Super VL,可接收文本、图像、文档和视频并输出文本,面向需要看屏幕、读文档、调用工具的常驻智能体。SGLang 在发布当天提供部署支持,用连续批处理、前缀缓存和投机解码承载推理。模型采用混合专家结构,总参数1200亿、每 token 激活120亿,并内置多 token 预测;在单张 RTX 6000 PRO 上达到 243.9 tok/s。
已读完全部报道