Zixiao Wang

团队把奖励模型的一次修改看成对回复特征调价，用当前策略的样本和旧、新两个奖励模型的打分差，在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中，协方差预测器在200步窗口解释了82%的标准化响应，而按反事实价格计算的经典做法只解释50%；同一预测在三次真实奖励模型升级上以冻结系数解释66%，但排序只在训练前30步对租金有效。

团队把奖励模型的一次修改看成对回复特征调价，用当前策略的样本和旧、新两个奖励模型的打分差，在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中，协方差预测器在200步窗口解释了82%的标准化响应，而按反事实价格计算的经典做法只解释50%；同一预测在三次真实奖励模型升级上以冻结系数解释66%，但排序只在训练前30步对租金有效。