vLLM 为 Kimi K3 训出 DSpark 草稿模型：数学推理单流交互从约110升到约435 tok/s/user
核心概要
vLLM 项目的 Speculators 训练库新增对 2.8 万亿参数 Kimi K3 的支持，训练出五层、50 亿参数的 DSpark 草稿模型，用并行块加顺序校正做投机解码。在数学推理负载上，单流交互速度从约 110 提升到约 435 tok/s/user，并发下同等交互水平时输出吞吐最高约 3.5 倍；九个评测域的宏平均接受长度为每轮验证 4.11 个 token。
深度剖析
开源投机解码草稿模型现在可以覆盖 2.8 万亿参数级的前沿模型：Speculators 训练库扩展后产出的 Kimi K3 DSpark 草稿模型，在数学推理负载上把单流交互速度从约 110 提升到约 435 tok/s/user。 此前 Speculators 已在 Qwen3.6-35B-A3B、Gemma-4-31B-it、GLM-5.2 等模型上验证过训练、打包与部署流程，但单节点 vLLM 加训练的配置在 Kimi K3 这类规模上会撞上显存上限，即便权重已做 4 比特量化。 在并发负载下，同等交互水平时输出吞吐最高约 3.5 倍；并发从 1 增到 16 时，聚合输出吞吐从 177 升到 683 token/s，首 token 中位延迟只从 379 毫秒增加到 479 毫秒。
草稿模型保留 DFlash 的一次非因果主干前向预测整块 token 的并行方式，再用两个轻量部件补回并行位置之间缺失的依赖。 DFlash 的并行位置无法互相条件化，可能在同一位置同时偏好互相冲突的续写，拼出错配；验证在第一个被拒 token 处停止，一个错误还会作废后面整段后缀，即后缀衰减。 马尔可夫 logit 偏置头用上一个已选 token 调整每个位置的 logits，低秩转移矩阵不额外跑一次 transformer；置信头估计每个 token 被接受的概率，硬件感知调度器据此在轻载时验证更长前缀、繁忙时裁掉不太可能的后缀。
为跨节点训练，隐藏状态提取从单节点扩展到分离式架构，训练与推理可以各自独立伸缩。 单节点方案让一半 GPU 训练、另一半用 vLLM 服务目标模型并按需提取隐藏状态，但 Kimi K3 即使 4 比特量化也至少要两个 GB300 节点（每节点四块 GPU）才能服务。 MooncakeHiddenStatesConnector 以 Mooncake 传输引擎为后端，由主代理进程管理注册为客户端 的 vLLM 与训练实例，经 RDMA 或 TCP 传输隐藏状态；实验中最优配置是三节点一组，两节点推理、一节点训练。
启示与展望
已展示的范围是 Kimi K3 上的 DSpark 草稿模型在数学推理等九个评测域、LongBench-v2 长上下文以及 1 到 16 并发下的推理表现，训练在 Verda 提供的 GB300 NVL72 机架上完成。
DSpark 的半自回归设计只有在额外顺序工作远低于再一次草稿模型前向时才能带来推理收益；上述加速与接受长度数字来自发布方自身的评测与部署配置。