vLLM

Reflection的Beam是一个501B参数、每词元激活23B的混合专家模型，vLLM在发布首日即提供完整支持，推理、工具调用与结构化输出开箱可用。其初始版本几乎是未优化的纯PyTorch实现，编码智能体自主剖析模型、编写内核并逐项基准测试，在TP8上把批大小为1的解码从每步8.95毫秒降到3.30毫秒，8×2K预填充从328毫秒降到176毫秒。配合DFlash2草稿头，单请求在TP8上达到708词元每秒，接受长度为3.7。

Reflection的Beam是一个501B参数、每词元激活23B的混合专家模型，vLLM在发布首日即提供完整支持，推理、工具调用与结构化输出开箱可用。其初始版本几乎是未优化的纯PyTorch实现，编码智能体自主剖析模型、编写内核并逐项基准测试，在TP8上把批大小为1的解码从每步8.95毫秒降到3.30毫秒，8×2K预填充从328毫秒降到176毫秒。配合DFlash2草稿头，单请求在TP8上达到708词元每秒，接受长度为3.7。

英伟达发布 Nemotron 3.5 Super VL，一个面向长时间运行智能体的开放多模态模型，把文档、图像、视频理解与推理、指令跟随、工具调用合并在同一个模型里，减少分别部署文本模型和视觉模型的需要。它采用1200亿总参数、120亿激活参数的混合专家架构，配合混合 Mamba-Transformer、多令牌预测与 NVFP4 量化，并可在 NVIDIA NeMo 上用机构自有数据、工具、策略和工作流做后训练。官方给出的对照是：在单张 GPU 上，该模型在智能体任务上的吞吐最高可达同尺寸其他开放模型的5倍，任务完成速度可达4倍。

英伟达发布 Nemotron 3.5 Super VL，一个面向长时间运行智能体的开放多模态模型，把文档、图像、视频理解与推理、指令跟随、工具调用合并在同一个模型里，减少分别部署文本模型和视觉模型的需要。它采用1200亿总参数、120亿激活参数的混合专家架构，配合混合 Mamba-Transformer、多令牌预测与 NVFP4 量化，并可在 NVIDIA NeMo 上用机构自有数据、工具、策略和工作流做后训练。官方给出的对照是：在单张 GPU 上，该模型在智能体任务上的吞吐最高可达同尺寸其他开放模型的5倍，任务完成速度可达4倍。

vLLM在Muse Spark Open发布当天就提供了推理支持，这是一款总参数816B、每token激活42B的混合专家模型，支持1M上下文与原生图像、视频、音频输入。此前这类规模的模型往往要等社区适配数周；这次Nvidia与AMD镜像同步放出，并配套训练了DSpark投机解码草稿模型。TPU上配合投机解码，4颗v7芯片超过650 token/秒，8颗超过960 token/秒。

vLLM在Muse Spark Open发布当天就提供了推理支持，这是一款总参数816B、每token激活42B的混合专家模型，支持1M上下文与原生图像、视频、音频输入。此前这类规模的模型往往要等社区适配数周；这次Nvidia与AMD镜像同步放出，并配套训练了DSpark投机解码草稿模型。TPU上配合投机解码，4颗v7芯片超过650 token/秒，8颗超过960 token/秒。