WaveFront Decoding 把循环语言模型的草稿与验证合并进同一次循环调用,在 Ouro-2.6B 与 Huginn-3.5B 上分别取得 2.42 倍和 3.54 倍解码加速
该工作提出免训练的 WaveFront Decoding(WFD)自推测解码框架,利用循环语言模型中间递归输出可作草稿、权重共享可让不同位置与不同递归深度的状态在同一次批处理递归块调用中处理这两个性质,把混合深度状态组织成对角波前,使草稿与验证在同一批递归调用中并行进行,并用全深度预测纠正被拒绝的草稿;在 Spec-Bench 六个任务类别上相对自回归解码取得 Ouro-2.6B 2.42 倍、Huginn-3.5B 3.54 倍加速,结合跨递归 KV 共享后 Huginn-3.5B 加速最高达 4.81 倍。