DRM 用扩散头替代标量奖励头：在五个基准上匹配或超越同数据同骨干基线，并让奖励分布随人类分歧变得更双峰
该工作提出 DRM（Diffusion Reward Model），把奖励建模改写为对条件奖励分布的密度估计：在冻结的 LLM 编码器之上用一个轻量 Diffusion Transformer 从高斯噪声去噪出奖励向量，不预设任何参数族，同一架构同时支持多属性回归与成对偏好数据，在五个基准上匹配或超越同数据同骨干的标量头 ArmoRM 与分位数头 QRM，并在重复人类标注数据上显示出与人类分歧相关的多峰结构，同时通过不确定性拒绝、LCB 聚合与下游 RLHF 实验展示分布信息的实用价值。