语音识别解码不再等逐字生成：草稿模块复用目标模型内部特征，Whisper 上无损提速 1.9 倍

自回归语音识别逐字生成输出，解码阶段因此成为延迟瓶颈；EAGLE-ASR 在不改变识别结果的前提下把这一步加速。 此前的 ASR 投机解码要么依赖与目标模型严格对齐的外部草稿模型，要么草稿质量差、接受率低，速度提升受限。 在 LibriSpeech 上，Whisper-large-v3 目标模型取得 1.91（test-clean）与 1.79（test-other）的加速，WER 变化为 0.00；Conformer AED 目标模型取得 2.43 与 2.30，同样保持 0.00。

草稿模块不另起一个独立模型，而是直接读取目标模型编码器的声学特征与解码器多层表示来预测后续词元。 常规做法是单独训练或挑选一个草稿模型，EAGLE-ASR 改为在冻结的目标模型上挂一个轻量自回归模块 Speech-Draft。 Speech-Draft 由两个全连接层、一个嵌入层、单个 Transformer 解码器块和一个 LM 头组成，其中嵌入层与 LM 头直接复用目标模型参数；在 Whisper 上平均接受长度 3.67，在 Conformer AED 上 4.74。

报告覆盖的是标准整句推理下的解码阶段加速，不涉及流式识别；目标模型为 Whisper-large-v3 与 FunASR 的 Conformer AED，训练与评测使用 LibriSpeech 与 VoxPopuli，评测在单张 24 GB 显存的 NVIDIA RTX 4090 上完成。读者若关心多语种与跨语言场景，材料还给出了五种语言的识别结果与四个翻译方向的结果。

材料说明草稿模块在第二个及之后的草稿步要依赖自己预测的隐状态，而非目标模型的真实隐状态，这种训练与推理的差异会带来误差累积；多步生成训练与指数衰减加权正是为缓解这一点。语音翻译任务上平均接受长度低于多语种识别，材料将其归因于跨语言映射的输出不确定性更高。