# 奖励模型过度优化

团队把奖励模型的一次修改看成对回复特征调价，用当前策略的样本和旧、新两个奖励模型的打分差，在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中，协方差预测器在200步窗口解释了82%的标准化响应，而按反事实价格计算的经典做法只解释50%；同一预测在三次真实奖励模型升级上以冻结系数解释66%，但排序只在训练前30步对租金有效。

团队把奖励模型的一次修改看成对回复特征调价，用当前策略的样本和旧、新两个奖励模型的打分差，在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中，协方差预测器在200步窗口解释了82%的标准化响应，而按反事实价格计算的经典做法只解释50%；同一预测在三次真实奖励模型升级上以冻结系数解释66%，但排序只在训练前30步对租金有效。

训练语言模型时常用一个学出来的评审模型代替真值打分，但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审，并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本，训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”，评审均分从0.20升到0.82；对最强评审预测无可爬之处，该次运行未被利用。

训练语言模型时常用一个学出来的评审模型代替真值打分，但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审，并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本，训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”，评审均分从0.20升到0.82；对最强评审预测无可爬之处，该次运行未被利用。