残差优势让教师只重分配步骤信用:24项对比全部提升,Co-RA再增1.0–1.5分
作者提出残差优势(RA):把教师与学生的概率残差当作有界的一步奖励,减去学生策略下的状态价值形成优势,再在每条回答内中心化后加到验证器优势上,使验证器决定回答整体好坏、教师只在步骤间重分配信用;在Qwen3-1.7B/4B学生与Qwen3-8B教师上,RA配合GRPO或REINFORCE++在三个数学基准的24项三种子对比中全部提升,宏观Avg@8提高1.7–3.6分、Pass@8提高3.9–6.3分,均超过纯教师OPD;Co-RA用验证器优势在同一批学生数据上更新教师LoRA,再增1.0–1.5分Avg@8。