vLLM 首日接住 Mistral Large 4：NVFP4 解码比 FP8 快 1.08–1.19 倍，KV 缓存多约 1.5 倍
核心概要
vLLM 在发布当天为 Mistral Large 4 提供推理支持，这是一款 1 万亿参数、每 token 激活 490 亿的稀疏混合专家多模态模型。支持工作包括可断 CUDA 图、手写融合、解码与预填充上下文并行、DSpark 投机解码、NIXL 分离式服务以及主机内存 KV 卸载。在 TP8 上，NVFP4 每 token 解码比 FP8 快 1.08–1.19 倍，并持有约 1.5 倍 KV 缓存，而多模态、长上下文等评测与 FP8 的差距不超过 2.1 分。
深度剖析
vLLM 在 Mistral Large 4 发布当天就能运行这款模型，覆盖英伟达 GPU、AMD Instinct MI350 系列和 TPU v7x 三类硬件。 此前的 vLLM 没有针对这一架构的模型包、层规格和投机解码路径，模型文件本身不足以完成部署。 支持以 vllm/vllm-openai:mistral-large-4 镜像发布，内含 mistral-common 1.13，并给出 FP8 八卡与 NVFP4 四卡的启动命令。
模型是 72 层混合专家结构，128 个路由专家每次取前 4 个，另有 1 个共享专家，隐藏维度 6144，总参数 1 万亿、每 token 激活 490 亿。 注意力采用 MLA，KV LoRA 秩 512、RoPE 维度 64，并叠加 DSA 稀疏索引器，每个查询只选前 2048 个键。 第 39 至 71 层中每 4 层取 9 层读取第 35 层的潜在缓存，因此 72 层里只有 63 层自己持有 KV 缓存。
NVFP4 检查点在速度之外没有牺牲质量，多模态、长上下文、智能体编程、业务自动化和网络安全评测上每项与 FP8 的差距都在 2.1 分以内。 平均差值为 −0.3 分，平均补全 token 数与 FP8 相差约 4% 以内。 在 TP8 上，NVFP4 每 token 解码比 FP8 快 1.08–1.19 倍，开启 DSpark 后为 1.18–1.22 倍，并持有约 1.5 倍 KV 缓存。
DSpark 投机解码器随检查点一起提供，由 3 层滑动窗口 MLA 草稿层组成，深度为 3。 草稿位置在一次前向中并行提出，并条件于目标模型第 1、18、36、54、71 层抽出的隐藏状态。 在 TP8、200 条真实提示、贪心解码下，FP8 的 c1 每 token 时间从 8.84 毫秒降到 3.50 毫秒，NVFP4 从 8.21 毫秒降到 2.95 毫秒。
启示与展望
报告覆盖的是 vLLM 对 Mistral Large 4 的推理支持与实测配置，包括英伟达 GPU 上的 FP8 与 NVFP4、AMD Instinct MI350 系列上的 ROCm 路径，以及 16 芯片 TPU v7x 的验证配置；这些数字对应文中列出的具体卡数、并发与输入长度。
DCP 以每步延迟换 KV 容量，在同一 8 卡 GB300 NVFP4 部署上 DCP8 每 token 解码比 TP8 慢约 16–28%；DSpark 在 DCP8 下每个 64 token 草稿块占用覆盖 512 token 的目标页，64k 上下文时容量降到普通 DCP8 的约 0.69 倍。HiSparse 在单节点张量并行组上还需设置 VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm，否则可能触发 CUDA 启动失败。