跳到主要内容
检索

Hongze Chen

1 篇关联报道

订阅更新
  1. arXiv

    扩散语言模型强化学习不再只给整句打分:按词性分配信用,MATH500 低预算下比基座高 9.0 分

    扩散语言模型靠多步去噪逐批确定词元,整句奖励难以说明哪些词元真正帮助了后续去噪。DTCA 用一次词元确定后其余掩码位置预测置信度的提升来估计该词元的贡献,按词性分组得到稳定的贡献权重,再用它挑选去噪时间步并分配词元级学习信号,并按策略更新引起的词元熵变校准。在 LLaDA-8B-Instruct 上,DTCA 在 128、256、512 三种生成预算下均优于基座,MATH500 上分别提高 9.0、6.8、4.8 个百分点,GSM8K 上分别提高 5.3、2.1、2.5 个百分点。

已读完全部报道