稀疏MoE上的投机解码比预期更划算：细粒度模型在批大小1附近反而提速最高
核心概要
此前按“验证时激活的专家权重字节数”估算投机解码成本，认为稀疏MoE的加速比随批大小呈凹形、在低批大小收益有限。对10个30B至1T参数、8至512专家的稀疏MoE模型实测后，细粒度模型多在批大小1附近达到最高加速比。原因有两层：相邻草稿位置的路由重叠让验证时真正加载的唯一专家数比独立假设少21%至34%，而GPU上MoE核与注意力核的带宽利用差异和L2缓存复用又让运行时间不再正比于专家字节。
深度剖析
稀疏MoE目标模型上的投机解码加速比并不都随批大小呈凹形；细粒度、专家较小的模型在低批大小仍保持高效率，常在批大小1附近达到峰值。 此前的MoE投机解码成本模型按验证时激活的专家权重字节数估算开销，据此预测加速比随批大小先升后降、在低批大小收益有限。 在10个稀疏MoE模型（30B至1T参数、8至512专家）上扫描批大小，Qwen3-235B、Kimi-K2.5等稀疏模型呈非凹曲线，而专家较大的Mixtral-8x7B、Qwen2-57B仍呈凹形；Qwen3-30B与Qwen3-235B在多个数据集上保持相似的曲线形状。
验证多个草稿位置时，相邻位置选中的专家高度重合，因此一次验证真正需要加载的唯一专家数远少于按独立路由估计的数量。 独立路由基线只考虑各专家的经验选择概率、假定位置之间互不影响，会高估验证时的唯一专家数。 八个被测模型中，经验重叠在6个模型里超出独立基线的部分占总重叠的69%至92%；对Qwen3-30B验证4个token时每层只加载2.4个唯一专家，而均匀随机路由预测为3.6个，减少33%。
在批大小1时，专家权重字节数不能单独决定验证延迟，GPU执行动态同样参与其中。 激活专家字节模型假定运行时间与加载的专家权重字节成正比，并忽略核函数效率与缓存行为。 H100上Qwen3-30B（FP8）的MoE核达到峰值HBM带宽的45%至49%，注意力核只有22%至25%，MoE层占总前向时间的33%却占权重的67%；同一设置下MoE的L2命中率从自回归解码的5.72%升到投机验证的27.79%。
用最大熵迭代比例拟合（IPF）从成对路由重叠统计预测唯一专家数，并据此生成合成路由，可在不训练模型的情况下复现加速比曲线。 直接评估目标模型与草稿架构的投机解码表现需要训练并基准测试，在前沿规模上代价很高。 偏斜IPF对每个被测模型的唯一专家数预测误差在4%以内（最大为Qwen3-Next-80B的3.7%），均匀IPF在5%以内；在固定执行条件下用合成路由替换学习到的路由，能明显缩小与真实模型曲线的差距并抓住低批大小的定性趋势。
启示与展望
结论建立在10个稀疏MoE模型、vLLM v1推理栈与MT-Bench基础数据集之上，主要在H100上测量，Kimi-K2.5与DeepSeek-V3使用B200；长上下文只在Qwen3-30B上以约32k token提示验证，MoE草稿层分析属于合成设计研究而非训练后草稿器的实测。
IPF只匹配成对重叠统计，不建模高阶路由结构、专家边缘分布的位置依赖，也不刻画时间重叠如何随架构选择变化；合成路由与真实模型曲线之间仍有残差。哪些架构因素决定时间重叠、重叠能否跨模型族与稀疏度可靠迁移，仍是待解问题。