投机解码不再按位置挑层：熵与CKA选出层组合，Qwen3上平均接受token提高约0.085
核心概要
投机解码的草稿模型该看哪几层隐藏状态，现在可以按信息量和冗余度来选，而不是沿用固定的位置规则；在Qwen3-4B-Instruct上，选出的三层组合平均接受token比EAGLE3默认规则高约0.085。
深度剖析
多目标模型隐藏层的选择从固定位置规则改成按信息量与几何冗余度联合打分，草稿模型看到的是被选层拼接后的表示。 此前的投机解码做法用固定的位置启发式挑层，例如EAGLE2只取最后一层，EAGLE3取第2层、中间层和倒数第3层，并不显式平衡信息量与冗余。 在Qwen3-4B-Instruct-2507上，按该准则选出的三层集合在SpecBench上平均接受token为4.29，EAGLE3默认三层为4.20，EAGLE2为4.00；同一组对照覆盖草稿树节点数30与60、温度0.0与1.0四种设置。
选层靠两个可计算的信号：拼接表示的矩阵熵衡量一组层合起来有多少信息，层间CKA跳变标出表示发生明显变化的深度分界。 单层熵只能说明某一层信息多，无法说明哪几层放在一起互补，因此需要直接对层集合的拼接表示计算熵，并用CKA跳变控制扩展方向。 在Qwen3-4B-Instruct-2507与Llama-3.1-8B-Instruct上，逐层Shannon熵随深度呈非均匀的“激活波”形状，层对拼接的熵增益也不均匀，CKA跳变把深度划成若干表示分区。
校准阶段先按token的预测熵过滤，只保留高预测熵位置的隐藏状态，再统计层间熵与CKA。 逐层熵在不同提示之间波动很大，尤其首尾层，会让层排序随提示变化，而实际选定的层集合在训练和推理中是固定的。 按保留比例0.30过滤后，跨提示熵方差在早期层0–6下降48.4%、中间层7–28下降45.8%、后期层29–35下降35.6%，同时深度上的激活波形状保持不变。
启示与展望
报道覆盖的是Qwen3-4B-Instruct-2507与Llama-3.1-8B-Instruct两个开源模型上的层选择分析与EAGLE3式投机解码评测，评测集为SpecBench，草稿模型用ShareGPT与Ultrachat生成的蒸馏数据在8张H100上训练。适合做推理加速与草稿模型条件设计的读者，用于判断层集合选择是否值得替换现有固定规则。原文把在边缘设备上验证ELSI选出的层集合列为后续工作。
在Llama-3.1-8B-Instruct上，增加选层数量没有带来进一步收益，m=1、2、3之间的平均接受token只相差0.017，ELSI（m=3）平均比EAGLE3低1.0%；原文把这一较小的提升空间归因于该模型解码层之间可互换性更强，CKA图上表现为大片高相似区域。原文还指出，更小的目标状态集合预期带来更高吞吐，但在非访存受限的GPU上可能观察不到。