Ekagra Ranjan

此前按“验证时激活的专家权重字节数”估算投机解码成本，认为稀疏MoE的加速比随批大小呈凹形、在低批大小收益有限。对10个30B至1T参数、8至512专家的稀疏MoE模型实测后，细粒度模型多在批大小1附近达到最高加速比。原因有两层：相邻草稿位置的路由重叠让验证时真正加载的唯一专家数比独立假设少21%至34%，而GPU上MoE核与注意力核的带宽利用差异和L2缓存复用又让运行时间不再正比于专家字节。

此前按“验证时激活的专家权重字节数”估算投机解码成本，认为稀疏MoE的加速比随批大小呈凹形、在低批大小收益有限。对10个30B至1T参数、8至512专家的稀疏MoE模型实测后，细粒度模型多在批大小1附近达到最高加速比。原因有两层：相邻草稿位置的路由重叠让验证时真正加载的唯一专家数比独立假设少21%至34%，而GPU上MoE核与注意力核的带宽利用差异和L2缓存复用又让运行时间不再正比于专家字节。