# 稳定组相对策略优化

大模型推理训练常用的GRPO只看最终答案对错，答案正确并不代表推理过程可靠，这种“思考—答案错配”在组内样本高度不平衡时会被单个错误奖励放大。S-GRPO在奖励噪声模型下最小化观测优势与潜在优势的期望平方误差，得到闭式的噪声感知组权重，在多个数学推理基准和模型规模上稳定训练，并在标准GRPO几乎学不动的强噪声干预下仍有学习进展。

大模型推理训练常用的GRPO只看最终答案对错，答案正确并不代表推理过程可靠，这种“思考—答案错配”在组内样本高度不平衡时会被单个错误奖励放大。S-GRPO在奖励噪声模型下最小化观测优势与潜在优势的期望平方误差，得到闭式的噪声感知组权重，在多个数学推理基准和模型规模上稳定训练，并在标准GRPO几乎学不动的强噪声干预下仍有学习进展。