扩散语言模型也能向自回归老师学：JustOPD让Dream-7B在任意顺序解码下提升数学推理
核心概要
自回归模型与扩散语言模型的生成顺序不同，前者严格从左到右，后者可任意顺序去噪，使前者的逐词监督难以直接用于后者。JustOPD在训练时强制扩散学生按从左到右的顺序生成轨迹，让Qwen3-14B老师能在每个中间状态上给出监督，推理时学生仍保留任意顺序解码。以Dream-7B为学生、Qwen3-14B为老师在GSM8K和MATH500上测试，多种散度下成绩均高于基座模型。
深度剖析
扩散语言模型可以直接向更强的自回归语言模型做在策略蒸馏，而不必先找到一个同样强的扩散老师。 此前的扩散模型在策略蒸馏主要限于扩散到扩散，强且开源的扩散老师稀少；自回归老师虽然充足，但其从左到右的解码与扩散学生的任意顺序去噪不匹配。 以Dream-7B为学生、Qwen3-14B为老师，在GSM8K和MATH500上，JustOPD在测试的多种散度下都优于基座Dream-7B，且评估使用扩散模型原生的任意顺序解码器。
训练时让扩散学生按从左到右的顺序逐词生成，老师看到的每个中间状态就都是合法的前缀。 扩散模型在去噪中途得到的是部分被掩码的序列，这些序列通常不对应自回归老师训练分布中的合法前缀，老师无法给出有意义的逐词监督。 学生策略被写成给定前缀加掩码后缀、预测下一位置干净词元的逐词形式，于是与自回归老师的轨迹分解一致，标准的在策略蒸馏目标可以直接套用；实现采用采样词元、PPO 风格的目�标，只在老师熵最高的位置计算损失。
训练时的顺序约束不会改变推理时的生成方式，学生仍按任意顺序解码。 若把从左到右生成带入推理，扩散模型并行生成、可降低延迟的特点就会被放弃。 评估时Dream-7B使用基于熵的解除掩码策略，每步解除熵最低的两个位置，属于扩散模型原生的任意顺序解码；蒸馏所得的知识在这种解码下仍然体现为成绩提升。
启示与展望
实验以Dream-7B为学生、Qwen3-14B及其按任务微调的版本为老师，在GSM8K和MATH500两个数学推理基准上评估，覆盖多种散度与多个生成长度；蒸馏训练100步、每10步评估并报告最佳检查点。
作者指出当前词元级蒸馏假设师生共享分词器，限制了可配对的模型范围；AIME 2024上的结果只是初步的，基座模型在该基准上即使给到较长生成长度也未能答对任何题；跨分词器蒸馏与块注意力扩散模型上的扩展仍属未来工作。