# 多奖励强化学习

该工作指出 GRPO 在多奖励场景下用总奖励的组内标准差做归一化，其方差等于所有成对奖励协方差之和，因而大尺度奖励会主导归一化并压制小尺度奖励的信号；作者提出 CorrGRPO，把分母中的成对协方差替换为皮尔逊相关系数，同时保留中心化总奖励不变，并在代码生成、工具调用、智能体效用与安全三类任务、0.5B 至 8B 参数模型上与 GRPO 及 GDPO 等变体比较，报告三类任务上的性能提升以及竞争性目标之间经验帕累托前沿的外扩。

该工作指出 GRPO 在多奖励场景下用总奖励的组内标准差做归一化，其方差等于所有成对奖励协方差之和，因而大尺度奖励会主导归一化并压制小尺度奖励的信号；作者提出 CorrGRPO，把分母中的成对协方差替换为皮尔逊相关系数，同时保留中心化总奖励不变，并在代码生成、工具调用、智能体效用与安全三类任务、0.5B 至 8B 参数模型上与 GRPO 及 GDPO 等变体比较，报告三类任务上的性能提升以及竞争性目标之间经验帕累托前沿的外扩。

该工作用“优势能量”刻画多奖励强化学习中各奖励对策略更新的贡献，证明在理想化GDPO归一化下某奖励的优势能量正比于其活跃组密度（批次中该奖励产生非零相对优势的 rollout 组比例），据此提出按密度反平方根加权的DARA，在工具调用与数学推理任务上比GDPO更快达到目标行为——工具调用格式合规最多少用26%训练步数，数学推理长度合规接近饱和最多少用65%步数，最终性能保持竞争力。

该工作用“优势能量”刻画多奖励强化学习中各奖励对策略更新的贡献，证明在理想化GDPO归一化下某奖励的优势能量正比于其活跃组密度（批次中该奖励产生非零相对优势的 rollout 组比例），据此提出按密度反平方根加权的DARA，在工具调用与数学推理任务上比GDPO更快达到目标行为——工具调用格式合规最多少用26%训练步数，数学推理长度合规接近饱和最多少用65%步数，最终性能保持竞争力。