强化学习奖励全为零时不再丢弃失败轨迹：实时诊断加提示，Llama-3.2-3B数学平均相对提升78.3%
核心概要
可验证奖励强化学习（RLVR）在任务难度突然超过模型能力时，整批采样轨迹全部失败、奖励全为零，学习信号随之消失。MENTOR把这类失败轨迹保留下来，由多个智能体实时诊断错误根源并生成针对性教学提示，再拼回原题重新采样。在数学与代码生成任务上，它优于GRPO、DAPO及静态提示库等基线，Llama-3.2-3B-Instruct数学平均相对提升最高达78.3%。
深度剖析
训练中整批轨迹全部失败、奖励全为零时，MENTOR不再丢弃这批样本，而是把它们转成一次教学机会，让原本停滞的题目重新产生非零奖励。 常见做法是直接过滤掉全零奖励的批次，或依赖预先写好的提示库与课程；MENTOR保留失败轨迹并据此生成提示。 在数学与代码生成基准上，MENTOR在五个模型上均高于GRPO、DAPO、Critique-GRPO、SRPO、LUFFY、QUESTA、HINT与Scaf-GRPO，Llama-3.2-3B-Instruct数学平均相对提升78.3%。
提示不是预先写好的，而是针对当前策略这一次失败的具体原因现场生成，再拼到原题前面重新采样。 静态提示库随策略更新会与模型当前行为偏离，MENTOR让诊断和提示跟着策略的失败模式一起变化。 归因智能体先给出错误关键词，生成智能体据此写出候选提示，判断智能体以规则加LLM评审打分，修复智能体按批评改写；案例中首轮被判为过于笼统的提示经改写后通过。
整套机制只改动失败样本的输入，不改动GRPO的损失函数、优化器和奖励机制。 因此它可以接入现有GRPO类训练流程，而无需重建训练基础设施。 在八个H20-3E GPU上训练一个epoch、每题采样四条轨迹，教学智能体由Qwen3-32B驱动；相比Critique-GRPO，墙钟时间约快24%（17.9小时对23.5小时）。
启示与展望
结果覆盖数学推理（DeepMath-103K，10K训练/2.5K验证）与代码生成（LiveCodeBench，1,055条，5:1划分），在Qwen2.5-Math-7B、DeepSeek-Coder-1.3B、DeepSeek-R1-Distill-Qwen-1.5B、Qwen3-4B与Llama-3.2-3B-Instruct上评测，并在MMLU上考察分布外表现。适合关注RLVR训练稳定性与提示干预的研究者和工程师阅读。
提示生成与推理引导目前只在单模态场景验证，在复杂动态环境与多模态融合任务中的适用性尚未充分探索。最大重试次数在数学与代码上均以2为峰值，最优细化轮数随模型和任务变化，Qwen3-4B数学为2，Llama-3.2-3B-Instruct需要3。