# 奖励模型偏差缓解

该工作提出 BiasReducer，一个只编辑线性奖励头、不重训奖励模型的轻量框架：先用带语义监督的稀疏自编码器式编码器学习长度、自信、谄媚等预设属性的内部表示，再为每个属性确定调整奖励头的方向与幅度并存入编辑库，最后针对新数据集按属性对奖励分数的影响力排序并选择相应编辑；在五个奖励模型上，BiasReducer-M 使 RM-Bench-Hard、Arena-StyleConflict、JudgeBiasBench 平均提升 8.3、18.0、6.9 个百分点，优于两个基于训练的基线，并在下游 best-of-n 选择与 GRPO 训练中减少冗长与谄媚而保持质量可比。

该工作提出 BiasReducer，一个只编辑线性奖励头、不重训奖励模型的轻量框架：先用带语义监督的稀疏自编码器式编码器学习长度、自信、谄媚等预设属性的内部表示，再为每个属性确定调整奖励头的方向与幅度并存入编辑库，最后针对新数据集按属性对奖励分数的影响力排序并选择相应编辑；在五个奖励模型上，BiasReducer-M 使 RM-Bench-Hard、Arena-StyleConflict、JudgeBiasBench 平均提升 8.3、18.0、6.9 个百分点，优于两个基于训练的基线，并在下游 best-of-n 选择与 GRPO 训练中减少冗长与谄媚而保持质量可比。