奖励模型改完先别急着跑RL：用当前策略样本算协方差，200步内八成变化可提前预测
核心概要
团队把奖励模型的一次修改看成对回复特征调价，用当前策略的样本和旧、新两个奖励模型的打分差，在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中，协方差预测器在200步窗口解释了82%的标准化响应，而按反事实价格计算的经典做法只解释50%；同一预测在三次真实奖励模型升级上以冻结系数解释66%，但排序只在训练前30步对租金有效。
深度剖析
奖励模型的一次修改，其效果可以在强化学习开跑之前从现有策略的样本上算出来，而不必等一次完整训练结束才知道。 此前团队改奖励模型——加惩罚、换更干净的数据、做集成或抽检——只能在下游RL跑完之后才知道租金有没有降、策略改产出了什么，而一次运行要花数百GPU小时，多数修改因此只在短跑上评估或干脆不评估。 在六个父策略上共跑54次RL，所有预测在第一次运行前就已固定；协方差预测器在200步窗口预测了全部20个在各父策略上同号的供给变化方向，并解释82%的标准化响应，按反事实价格算的经典替代只解释50%，两者差值的自助区间为0.29到0.39。
预测只需要当前策略的采样和两个奖励模型的打分，不需要预先列出哪些特征被定了价。 价格预测器要求把奖励变化写成已测量特征上的线性调价，一旦修改带来的奖励变化落在这些特征之外，这一化简就失效。 差距集中在长度上：两个格式特征上两种预测器解释的份额相近（标题与加粗为0.71和0.87，列表标记为0.91和0.66），而长度上价格预测器解释7%、协方差预测器解释84%；在三次真实奖励模型升级上，冻结系数的协方差预测器预测了全部7个同号方向并解释66%，在GRPO下预测全部22个稳定变化并解释75%。
同一协方差还能在训练最初30步内给奖励模型修改按对租金的影响排序，但这个排序有可测量的时间边界。 租金是代理奖励与更强评审给出的金奖励之间的差；此前没有训练前的手段判断一次修改会让租金升还是降。 前30步内预测与六个实验臂按租金变化的排序一致（Spearman 0.94），按金奖励变化为0.89；到第200步，因子实验各臂的排序在RLOO和GRPO下都反转，而三次真实升级保持原有顺序，且这些升级都没有降低标题的价格。
启示与展望
结论建立在一个测试平台之上：1.7B的Qwen3策略、一个奖励模型家族作代理，主要以RLOO训练、另有一批GRPO，预测是修改的一阶响应，并在分支点之后200步内检验。适用对象是能用规则检测并干净删除的特征，如标题与加粗、列表标记、结尾摘要和资源列表；租金预测只在训练初期成立。
租金排序在第200步反转，对反转机制的分析属探索性；在对称冲击的前瞻测试中，降价后策略走得更远，但金奖励并未随这段距离下降，有效系数只描述涨价不描述降价。两个对摘要大幅调价的实验臂出现长度失控，16个植入中有1个在父策略响应上略低于验证阈值。