# 优势能量

该工作用“优势能量”刻画多奖励强化学习中各奖励对策略更新的贡献，证明在理想化GDPO归一化下某奖励的优势能量正比于其活跃组密度（批次中该奖励产生非零相对优势的 rollout 组比例），据此提出按密度反平方根加权的DARA，在工具调用与数学推理任务上比GDPO更快达到目标行为——工具调用格式合规最多少用26%训练步数，数学推理长度合规接近饱和最多少用65%步数，最终性能保持竞争力。

该工作用“优势能量”刻画多奖励强化学习中各奖励对策略更新的贡献，证明在理想化GDPO归一化下某奖励的优势能量正比于其活跃组密度（批次中该奖励产生非零相对优势的 rollout 组比例），据此提出按密度反平方根加权的DARA，在工具调用与数学推理任务上比GDPO更快达到目标行为——工具调用格式合规最多少用26%训练步数，数学推理长度合规接近饱和最多少用65%步数，最终性能保持竞争力。