扩散语言模型并行解码掉点严重：RePara 用两词块强化训练，GSM8K 从 28.20 提到 68.54
核心概要
扩散语言模型每步并行提交多个词元时准确率会大幅下滑，RePara 用分组相对策略优化强化连续短词元块，在 LLaDA 上把 GSM8K 的 Diff#16 准确率从 JustGRPO 的 28.20 提到 68.54。
深度剖析
扩散语言模型一次前向可以预测多个词元，但把这种并行预测当作可靠的多词元提交时，数学与代码任务的准确率会随每步提交词元数上升而急剧下降。 此前的推理评测通常只用每步一到两个词元，JustGRPO 也以单步单词元的自回归式 rollout 训练，却保留并行扩散推理。 在 512 词元生成预算下对 LLaDA、Dream、SDAR 和 LLaDA2.1-mini 做固定配额评测，Diff#16 时每个模型–基准组合的分数都低于 10。
RePara 让模型在训练时一次前向生成一小段连续词元，并用最终答案正确性给出的优势去优化这一整块词元的联合概率。 JustGRPO 的 rollout 每次只提交一个词元，RePara 则把连续两个词元作为一个动作，训练目标直接落在多词元动作上。 在 LLaDA 与 SDAR 上以 128 次更新、256 词元 rollout 训练，主比较采用固定两词元块 Fix2，评测 GSM8K 与 MATH-500。
训练时的块结构同时减少了 rollout 生成与对数概率重算的前向次数，因为同一块内所有词元共享同一个条件状态。 单步单词元生成需要按词元数计的前向次数，RePara 按块数计。 在 LLaDA/MATH 这一设置下，Fix2 把核心训练步时间相对 JustGRPO 降低 49.5%，计入检查点与指标准备后仍保留加速。
启示与展望
这项工作在 GSM8K 与 MATH-500 上、以 LLaDA 和 SDAR 两个模型家族验证了数学推理的并行解码收益，训练使用 256 词元 rollout，下游评测预算不超过 512 词元。适合关注扩散语言模型后训练与推理加速的研究者和工程师阅读。更长的推理轨迹尚未测试。
数学收益在 GSM8K 与 MATH-500 上成立，但代码生成上的直接应用会明显降低准确率，改用更简单的训练数据或从 JustGRPO 检查点初始化只带来有条件的小幅改善。RePara 缓解了并行度差距，但 LLaDA 从每步八个词元增到十六个词元时准确率仍在下降。基于真实前缀的探针只刻画局部预测质量，并未确立整块词元的联合正确性，也未分离出代码回退的原因。