GRPO的组内基线可以分方向调：按策略分组的偏移量，让多解覆盖率小幅但稳定上升
核心概要
GRPO把同一提示下的所有采样放在一个组均值基线上打分，但同一提示的采样往往走不同解题策略，各策略的奖励分布并不相同。这项工作把子组均值相对全局均值的偏离定义为子组偏移，用一个带符号系数沿偏移移动基线：取正号把信用拉向采样在自己子组内的位置，取负号把信用拉向子组整体质量。在Qwen3-8B-Base与Olmo3-7B-Base、四个竞赛级数学基准上，两个方向相对共享同一策略采样、只改基线的对照都取得小幅但一致的提升，且集中在pass@16，负号方向更强。
深度剖析
同一提示下的采样不再被当成同质的一组，基线可以按它们所属的解题策略子组分别移动。 标准GRPO只用组内平均奖励作为共享基线，奖励相同的采样拿到相同优势，既不反映采样在自己子组内的位置，也不反映该子组在全体中的位置。 对照是Strategy-GRPO：它与两个方向共享同一套按策略条件化的采样，只差基线是否调整，因此差异可归到基线这一项上。
做法是先让模型写出简短的解题思路预览，再按预览把采样分成子组，然后只改基线。 子组偏移定义为子组平均奖励减去全局平均奖励，基线按一个带符号系数沿该偏移移动，奖励信号与优化目标都不变。 在Qwen3-8B-Base与Olmo3-7B-Base上、以DAPO-Math-17K训练，并在AIME24、AIME25、AIME26与HMMT25四个竞赛级数学基准上评测，评测为单阶段、不带策略条件化。
提升主要落在多次采样覆盖率上，而不是单次准确率上。 相对Strategy-GRPO这一对照，两个方向都小幅但一致地提高pass@16，pass@1的改善更小。 在两个模型上负号方向都强于正号方向；把子组偏移在子组间随机置换后，两个方向都退化到基线以下。
启示与展望
演示范围限于Qwen3-8B-Base与Olmo3-7B-Base两个基座模型、DAPO-Math-17K训练数据，以及AIME24、AIME25、AIME26、HMMT25四个竞赛级数学基准上的单阶段评测；子组由预先采样的解题策略诱导，策略本身不被奖励也不回灌策略。
两个方向相对对照的提升被描述为小幅；系数扫描只在Qwen3-8B-Base上完成，因此“中等系数最好”的结论限于该模型；偏移置换消融说明收益依赖子组与偏移的真实对应，但未能区分“偏移被错配”与“任何失准的偏移都有害”这两种解释；方向与强度的自适应选择尚未给出规则。