投机解码不再固定树深：EAGLE-4按GPU实测成本伸缩验证树，创意提示词吞吐最高1.85倍
核心概要
EAGLE-4把投机解码的验证树从固定深度改为按GPU实测成本逐层伸缩，并配一个轻量草稿模型。在NVIDIA B300、TP=4上，批大小为1时它在Fireworks Bench和Prompt Enhancement SpecBench分别达到660.6和622.9 tokens/s，是最快对照方法的1.63倍和1.85倍；批大小为8时优势为1.36倍和1.62倍。创意提示词扩展这类高熵任务对草稿模型更难，但树结构从这种不确定性中找回了更多可用续写。
深度剖析
投机解码的验证树不再固定深度和候选数，而是由运行时根据GPU实测的验证成本逐层决定加宽还是加深。 此前的链式验证在每个位置只押一条续写，一旦早期不匹配，后面的token就全部作废；固定树则要预先设定深度和top-k。 在NVIDIA B300、TP=4上，验证预算为16个token时，树相对链在Fireworks数据集上把接受长度提高21.1%，在fal纯文本子集上提高26.1%。
吞吐提升在创意提示词扩展任务上更明显，因为这类任务的草稿预测更难。 同一验证预算下，两种方法在fal创意提示词上的接受长度都低于Fireworks数据集，说明这些负载对草稿模型更难。 批大小为1时，EAGLE-4 Harness在Fireworks Bench上为660.6 tokens/s、在Specbench上为622.9 tokens/s，分别是最快对照方法的1.63倍和1.85倍；批大小为8时为3566.4和3551.9 tokens/s，对应1.36倍和1.62倍。
树的收益集中在序列前段，因为早期位置更可能被真正走到。 长链把更多验证预算花在后段位置，而这些位置被到达的概率更低。 在Fireworks数据集上比较L=8的树与N=7的链，首个token的命中率从72.5%升到85.3%，提高12.8个百分点。
启示与展望
演示范围是NVIDIA B300、张量并行设为4上的两个评测集：Fireworks整理的138条提示词，以及fal提示词扩展数据中200条纯文本提示词；吞吐对比覆盖批大小1和8。发布方同时公开Prompt Enhancement SpecBench，含400个样例，来自18个数据集，分文生视频、图生视频、文生图、图生图四类，每类100例。
发布方说明，多草稿层、混合专家支持和Latent ReLU尚未包含在已发布的Qwen 3.8 27B模型中，并预期未来模型会使用这些特性。创意提示词扩展的续写开放，草稿模型更难预测，最高熵四分位的接受长度为2.66，最低熵四分位为2.97。