奖励模型尾部校准能预警搜索预算风险：代码生成是唯一出现回落的领域
Best-of-N 推理按代理奖励挑最高分候选，预算越大越只读取奖励分布的极端尾部，因此平均排序指标看不出部署风险。研究把 BoN 值写成条件真实奖励在提示内分数分位上的 Beta 加权积分，说明 BoN 只依赖分数排名，且只有尾部校准曲线下弯时才会下降。在公开候选池上，负的尾部超额集中在代码生成任务，交叉拟合的尾部统计量能预测预算上限在留出数据上是否带来收益，效果与排序准确率相当。
奖励模型改完先别急着跑RL：用当前策略样本算协方差，200步内八成变化可提前预测
团队把奖励模型的一次修改看成对回复特征调价，用当前策略的样本和旧、新两个奖励模型的打分差，在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中，协方差预测器在200步窗口解释了82%的标准化响应，而按反事实价格计算的经典做法只解释50%；同一预测在三次真实奖励模型升级上以冻结系数解释66%，但排序只在训练前30步对租金有效。
弱评审的偏好提前可读：训练前探针点名“非洲”，策略最终128条答案全写它
训练语言模型时常用一个学出来的评审模型代替真值打分，但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审，并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本，训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”，评审均分从0.20升到0.82；对最强评审预测无可爬之处，该次运行未被利用。
已读完全部报道