vLLM 在发布当天为 Mistral Large 4 提供推理支持，这是一款 1 万亿参数、每 token 激活 490 亿的稀疏混合专家多模态模型。支持工作包括可断 CUDA 图、手写融合、解码与预填充上下文并行、DSpark 投机解码、NIXL 分离式服务以及主机内存 KV 卸载。在 TP8 上，NVFP4 每 token 解码比 FP8 快 1.08–1.19 倍，并持有约 1.5 倍 KV 缓存，而多模态、长上下文等评测与 FP8 的差距不超过 2.1 分。
GLM-5.3的长上下文服务在16块H200上受KV缓存显存与预填充速度双重限制。预填充端把每个提示按token切到8块GPU（PCP），再把KV缓存按token分片（DCP），使100万token请求每卡只需6.7 GiB；解码端用Hybrid HiSparse把KV放到主机内存。在AgentX基准上，PCP8×DCP8预填充配HiSparse解码在同等吞吐下给出DP8部署1.7–3.2倍的单用户速度，也是所测配置中唯一能服务100万token上下文的方案。
MiniMax 开源 MiniMax-M3.1-Flash，vLLM 在发布当天于 NVIDIA Blackwell、Rubin 与 AMD MI350 系列 GPU 上提供支持。该模型针对 NVFP4 KV 缓存做量化感知训练，路由专家权重也以 NVFP4 存储，检查点从 451.5 GB 降到 250.1 GB，每 token 的 KV 缓存从 61,440 字节降到 34,560 字节。在四块 NVIDIA B300、DEP4 部署、256K token 序列下，M3.1 可容纳 76 条并发序列，而使用 FP8 KV 缓存的 M3 为 28 条。
在公开的AgentX智能体负载上，八卡AMD Instinct MI355X系统用vLLM服务Kimi K3，在每用户每秒50 token的P90交互性下，单卡总吞吐约7,567 token/s，比NVIDIA HGX B300的6,083高出24.4%；按SemiAnalysis建模的每小时1.50美元与2.26美元GPU成本，每美元TCO产出1,816万对969万token，多87.4%。这一结果来自AMD与vLLM社区在注意力、循环状态、MoE和缓存上的持续工程优化，而非单点改动。
已读完全部报道