奖励模型尾部校准能预警搜索预算风险：代码生成是唯一出现回落的领域
核心概要
Best-of-N 推理按代理奖励挑最高分候选，预算越大越只读取奖励分布的极端尾部，因此平均排序指标看不出部署风险。研究把 BoN 值写成条件真实奖励在提示内分数分位上的 Beta 加权积分，说明 BoN 只依赖分数排名，且只有尾部校准曲线下弯时才会下降。在公开候选池上，负的尾部超额集中在代码生成任务，交叉拟合的尾部统计量能预测预算上限在留出数据上是否带来收益，效果与排序准确率相当。
深度剖析
Best-of-N 选出的候选质量可能随采样预算先升后降，而这种下降只由奖励分数最高一段的校准形状决定，与分数整体分布无关。 奖励模型通常按偏好准确率、校准或平均边际评分，这些指标平均在 BoN 从不访问的区域上，因此团队可以通过全部榜单检查却仍把预算推过自身最优点。 在 162 个合成单元中，高斯加性误差的 BoN 曲线单调，拉普拉斯误差停在平台，重尾误差在全部六种相关性下都出现有统计支持的回落，与按误差尾类划分的预测一致。
把分数映射到提示内分位后，BoN 的取值等于条件真实奖励在该分位上的 Beta 加权积分，因此只通过排名使用奖励模型。 这一表示把预算问题转成一条曲线的问题：BoN 能否下降取决于校准曲线是否下弯，在哪个预算下降取决于下弯位置有多靠近顶端。 在 PPE 公开候选池的 65 个学习型奖励模型单元中，六个负的顶部 12.5% 尾部超额全部出现在 MBPP+ 代码任务，其余四个任务没有出现。
一个只读取分数最高一段的尾部超额统计量，配合交叉拟合的奖励响应曲线，可以给出具体任务与模型上的预算上限。 常见的 KL 惩罚、软选择或集成等缓解手段对所有任务施加同一速率，而这个审计只在检测到尾部下弯时对指定任务和模型设上限。 在 130 个交叉拟合折中，9 折的校准选择上限在留出折上带来正收益，尾部风险预测该事件的 ROC AUC 为 0.983，区间 [0.954, 0.998]，与排序准确率的配对差异区间包含零。
启示与展望
演示范围限于有标签候选池上的 BoN 选择：合成实验使用有界均匀先验与高斯、拉普拉斯、Student-t 及乘性误差，受控实验使用 Qwen2.5-7B-Instruct 在 MATH-500 与 GSM8K 上生成的固定候选，外部验证使用 PPE 中四个基座策略、五个任务上的 65 个学习型奖励模型单元。读者应把它当作部署前的审计工具，而不是替代排序指标。
负尾部超额在公开池中稀少，平均精度区间很宽，作者明确不主张整体排序质量无法预测该问题。受控 MATH 中答案-only 条件的失败无法单独归因于问题语义缺失，聊天角色与模板变化是重要混杂；GSM8K 在两种原始格式下都没有支持的回落。尾部宽度、并列顺序等敏感性检查保留主要模式，但缺少端点归一化与策略似然，无法做 Best-of-Tails 与 ITP 的同池比较。