扩散语言模型强化学习不再只给整句打分：按词性分配信用，MATH500 低预算下比基座高 9.0 分
核心概要
扩散语言模型靠多步去噪逐批确定词元，整句奖励难以说明哪些词元真正帮助了后续去噪。DTCA 用一次词元确定后其余掩码位置预测置信度的提升来估计该词元的贡献，按词性分组得到稳定的贡献权重，再用它挑选去噪时间步并分配词元级学习信号，并按策略更新引起的词元熵变校准。在 LLaDA-8B-Instruct 上，DTCA 在 128、256、512 三种生成预算下均优于基座，MATH500 上分别提高 9.0、6.8、4.8 个百分点，GSM8K 上分别提高 5.3、2.1、2.5 个百分点。
深度剖析
扩散语言模型的强化学习开始把学习信号落到单个词元上，而不只停留在整条回答的奖励。 此前的做法主要从去噪轨迹或中间状态构造学习信号，而整句奖励本身无法说明哪些词元确定后有助于后续去噪。 在 LLaDA-8B-Instruct 上，DTCA 在 MATH500 的 128、256、512 三种生成预算下分别比基座高 9.0、6.8、4.8 个百分点，在 GSM8K 上分别高 5.3、2.1、2.5 个百分点。
贡献估计不直接在线计算，而是先在离线去噪轨迹上算好，再按词性归并成一张固定的贡献表。 逐词元在线估计需要额外的前向计算，且不同采样之间波动大，因此改为离线估计并按词性类别平均。 离线估计使用最大生成长度一半的去噪预算、每步确定两个词元，并对每个词元单独做额外前向；贡献表由 MATH 与 GSM8K 训练集的去噪轨迹构建，训练中不更新。
贡献权重同时用于挑选去噪时间步和缩放词元信用，熵校准再按策略更新引起的熵变调整这些信号。 时间步按词元置信度与词性贡献权重加权的分数排序，选取累计分数达到总量 70% 的最少步数，并限制在 2 到 32 步之间。 在 256 预算下，去掉贡献信用使 MATH500 与 GSM8K 分别下降 3.8 和 2.4 个百分点；去掉熵校准分别下降 1.4 和 1.4 个百分点，而在 512 预算下去掉熵校准的降幅为 4.2 和 3.5 个百分点。
启示与展望
结果来自 LLaDA-8B-Instruct 在 MATH500 与 GSM8K 上的最终答案准确率，覆盖 128、256、512 三种生成预算，训练使用 MATH 训练集，贡献表由 MATH 与 GSM8K 训练集的离线去噪轨迹构建。
贡献估计依赖词性对齐与标注的质量，贡献定义本身也仍缺少更有原理的理论表述；实验集中在数学推理与 LLaDA-8B-Instruct，迁移到代码生成等任务或其他扩散语言模型架构仍需评估。