# JustOPD

自回归模型与扩散语言模型的生成顺序不同，前者严格从左到右，后者可任意顺序去噪，使前者的逐词监督难以直接用于后者。JustOPD在训练时强制扩散学生按从左到右的顺序生成轨迹，让Qwen3-14B老师能在每个中间状态上给出监督，推理时学生仍保留任意顺序解码。以Dream-7B为学生、Qwen3-14B为老师在GSM8K和MATH500上测试，多种散度下成绩均高于基座模型。

自回归模型与扩散语言模型的生成顺序不同，前者严格从左到右，后者可任意顺序去噪，使前者的逐词监督难以直接用于后者。JustOPD在训练时强制扩散学生按从左到右的顺序生成轨迹，让Qwen3-14B老师能在每个中间状态上给出监督，推理时学生仍保留任意顺序解码。以Dream-7B为学生、Qwen3-14B为老师在GSM8K和MATH500上测试，多种散度下成绩均高于基座模型。