跳到主要内容

# 基于人类反馈的强化学习

2 篇关联报道

arXiv 2026年11月2日
奖励模型改完先别急着跑RL：用当前策略样本算协方差，200步内八成变化可提前预测
团队把奖励模型的一次修改看成对回复特征调价，用当前策略的样本和旧、新两个奖励模型的打分差，在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中，协方差预测器在200步窗口解释了82%的标准化响应，而按反事实价格计算的经典做法只解释50%；同一预测在三次真实奖励模型升级上以冻结系数解释66%，但排序只在训练前30步对租金有效。
团队把奖励模型的一次修改看成对回复特征调价，用当前策略的样本和旧、新两个奖励模型的打分差，在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中，协方差预测器在200步窗口解释了82%的标准化响应，而按反事实价格计算的经典做法只解释50%；同一预测在三次真实奖励模型升级上以冻结系数解释66%，但排序只在训练前30步对租金有效。
Zixiao Wang（第一作者）
奖励模型编辑预测基于人类反馈的强化学习奖励模型奖励模型过度优化
arXiv 2026年9月29日
DRM 用扩散头替代标量奖励头：在五个基准上匹配或超越同数据同骨干基线，并让奖励分布随人类分歧变得更双峰
该工作提出 DRM（Diffusion Reward Model），把奖励建模改写为对条件奖励分布的密度估计：在冻结的 LLM 编码器之上用一个轻量 Diffusion Transformer 从高斯噪声去噪出奖励向量，不预设任何参数族，同一架构同时支持多属性回归与成对偏好数据，在五个基准上匹配或超越同数据同骨干的标量头 ArmoRM 与分位数头 QRM，并在重复人类标注数据上显示出与人类分歧相关的多峰结构，同时通过不确定性拒绝、LCB 聚合与下游 RLHF 实验展示分布信息的实用价值。
该工作提出 DRM（Diffusion Reward Model），把奖励建模改写为对条件奖励分布的密度估计：在冻结的 LLM 编码器之上用一个轻量 Diffusion Transformer 从高斯噪声去噪出奖励向量，不预设任何参数族，同一架构同时支持多属性回归与成对偏好数据，在五个基准上匹配或超越同数据同骨干的标量头 ArmoRM 与分位数头 QRM，并在重复人类标注数据上显示出与人类分歧相关的多峰结构，同时通过不确定性拒绝、LCB 聚合与下游 RLHF 实验展示分布信息的实用价值。
Tsinghua University University of Illinois Urbana-Champaign
Xiang Wang（第一作者）
扩散奖励模型（DRM）奖励建模扩散Transformer 基于人类反馈的强化学习测试时扩展

已读完全部报道