Thinking Machines 的 Inkling 2 Small 在发布当天获得 vLLM 支持。这是一个文本与图像输入、文本输出的混合专家模型，总参数 594B、激活 17B，上下文最长 1M token，并自带 DSpark 推测解码草稿器。vLLM 通过内核融合、程序化依赖启动、序列并行和针对 6:1 GQA 比例重写的 Gluon 注意力内核完成适配，在 GB200 上 TP4 单用户解码约 630 tok/s、接受长度 3.5，并支持 LoRA 与经由 SkyRL 的强化学习。
英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”，用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上，每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。
SGLang 为分页 KV 缓存加入 NVFP4 存储，把每个 token 的键值数据从 FP8 再压到约 56% 的字节量。在 Qwen3.8-27B 上，32K、160K、1M 三种输入长度下保持相同解码并发，峰值批解码吞吐提升约 26% 到 30%；智能体负载并发超过 12 后，FP8 吞吐骤降而 NVFP4 继续上升。精度上两个模型的差距随任务不同，最大为 SWE-bench Verified 上的 1.60 个百分点。
MiniMax 开源 MiniMax-M3.1-Flash，vLLM 在发布当天于 NVIDIA Blackwell、Rubin 与 AMD MI350 系列 GPU 上提供支持。该模型针对 NVFP4 KV 缓存做量化感知训练，路由专家权重也以 NVFP4 存储，检查点从 451.5 GB 降到 250.1 GB，每 token 的 KV 缓存从 61,440 字节降到 34,560 字节。在四块 NVIDIA B300、DEP4 部署、256K token 序列下，M3.1 可容纳 76 条并发序列，而使用 FP8 KV 缓存的 M3 为 28 条。
英伟达发布开放可定制的多模态模型 Nemotron 3.5 Super VL，面向需要推理、工具调用与文本图像文档视频理解的长流程智能体任务。它采用120B参数的混合专家架构，每个token激活12B参数，官方称在单张GPU上处理智能体任务时吞吐最高可达同尺寸其他开放模型的5倍。企业可用 NeMo 以自有数据、工具与流程做后训练，官方同时放出智能体工具调用、金融推理与40个视觉语言数据集。
Meta开源了Muse Spark Open的权重，这是一个816B参数、推理时激活42.7B的全模态混合专家模型，与Muse Code共同训练，面向编码智能体工作流。它用压缩MoE块和全局/局部混合注意力降低跨GPU通信与长会话的KV缓存占用，并支持100万token上下文和文本、图像、视频、音频输入。按Meta报告的基准分数，它在智能体编码与知识工作上与前沿实验室的模型相当，但各模型使用自家编码智能体测试，而非统一测试框架。
该工作提出“分离式量化”（DQ），把 LLM 推理的预填充与解码两个阶段分别配置计算格式、权重与存储位置，并配套提出 QADD 训练方法；在 Qwen 3 与 Gemma 3 上，仅在解码阶段取消激活量化即可在不增加推理成本的前提下提升解码密集型任务准确率，训练独立的 NVFP4 预填充权重可在 2–3-bit 解码下同时加快预填充并提升准确率，在 Qwen3.8-27B 的 1-bit GGUF 解码器上把 MMLU-Pro 与 MMMU-Pro 准确率提升到原来的两倍以上，并通过从 SSD 流式加载预填充权重的 ODP 在 8K 上下文下取得相对 weight-only 基线的首 token 时延加速。
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍、在 DeepSeek-R1 上最高达 2.5 倍，同时 GB300 NVL72 以 288 GPU 四机架实现 99% 扩展效率，软件优化较 v6.0 提升最高 1.6 倍。
已读完全部报道