答案对不等于推理对：给GRPO的组内优势加一道噪声权重，高噪声下仍能学
核心概要
大模型推理训练常用的GRPO只看最终答案对错，答案正确并不代表推理过程可靠，这种“思考—答案错配”在组内样本高度不平衡时会被单个错误奖励放大。S-GRPO在奖励噪声模型下最小化观测优势与潜在优势的期望平方误差，得到闭式的噪声感知组权重，在多个数学推理基准和模型规模上稳定训练，并在标准GRPO几乎学不动的强噪声干预下仍有学习进展。
深度剖析
训练大模型推理时，奖励信号现在可以按“这组样本有多可信”整体打折，而不只是看最终答案对错。 此前的GRPO依赖结果奖励，最终答案正确与否被直接当作推理质量的代理，当一组回答里对错分布极不均衡时，一个被污染的奖励就能强烈扭曲组内相对优势。 在多个数学推理基准和不同模型规模上，S-GRPO相对标准GRPO表现更稳定；在受控的奖励噪声干预下，它的优化轨迹更平滑，并在标准GRPO几乎没有有意义学习进展的高噪声水平上仍然有效。
做法是给每个提示对应的回答组算一个权重，再乘到组内优势上。 这个权重来自一个奖励噪声模型：假设观测到的对错标签以一定概率被翻转，通过最小化观测优势与潜在真实优势之间的期望平方误差，可以直接解出闭式权重。 实现是在公开的OAT训练框架里对Dr. GRPO模块做直接扩展，保留绝大部分训练流程，从而把噪声感知重加权的影响单独隔离出来；实验在八块80 GB的NVIDIA A100上以BF16混合精度完成，7B模型一次500步训练约需40小时。
启示与展望
已展示的范围是数学推理基准上的训练与评测，外加MBPP和APPS两个代码生成基准的补充实验，覆盖Qwen2.5-Math-1.5B-Instruct、Qwen2.5-Math-7B-Base、Llama-3.2-3B-Base等基座模型。读者对象是训练推理模型、需要处理结果奖励噪声的工程师与研究者。作者把AIME上的系统性研究留作后续工作。
最优噪声假设p随模型而变，1.5B模型在p=0.15最好、7B模型在p=0.10最好，作者明确不把最优p当作真实错配率的估计。在MATH500的Level 4和Level 5上，S-GRPO与GRPO的差异未达统计显著，置信区间仍宽，因此不能据此认定两者等价。AIME上各模型Avg@32仅约0%到14%，方法间差异只对应少数几个正确样本，难以解读。