推理模型训练卡在零奖励：MENTOR把失败轨迹变成实时提示，Llama-3.2-3B数学平均相对提升78.3%
导语
当一批采样轨迹全部得零分、学习信号消失时，MENTOR在训练循环内实时诊断失败原因并生成针对性提示，让模型重新拿到非零奖励；在数学与代码生成上，它把Llama-3.2-3B-Instruct的数学平均相对成绩提升78.3%。
正文
强化学习训练里会出现一种停摆：某个题目采样出的所有推理轨迹全部判错，整批奖励为零，梯度信号随之消失，策略不再改进。 此前的做法要么直接丢弃这些全零批次，要么使用预先写好的提示库或预先设定的课程，这些资源在策略变化后与模型当前错误逐渐脱节。 在数学与代码生成基准上，MENTOR在四个模型上均高于八种对照方法，例如在Llama-3.2-3B-Instruct上数学平均相对提升78.3%，在DeepSeek-R1-Distill-Qwen-1.5B上数学提升35.2%、代码提升43.6%。
它把失败轨迹当作诊断材料，先定位模型反复犯的概念性错误，再据此写出一条只指方向、不给答案的提示，并把提示拼到原题前面重新采样。 这套流程由四个角色分工完成：归因代理输出诊断关键词，生成代理据此写出候选提示，评判代理用规则和模型打分判定质量，修复代理按批评意见改写，直到提示通过或退回安全兜底提示。 训练在八张H20-3E GPU上进行，数学用DeepMath-103K、代码用LiveCodeBench，每个问题采样四条轨迹，提示生成与评判由Qwen3-32B承担；消融显示去掉归因代理准确率下降4.50%，去掉生成代理下降4.67%，去掉评判-修复环节下降2.28%。
接下来
这套机制在数学推理与代码生成的文本任务上验证，覆盖数学专用、代码专用、轻量蒸馏和通用四类模型，训练用DeepMath-103K与LiveCodeBench，提示生成与评判由Qwen3-32B承担。它作为即插即用模块接入GRPO类流程，只改动塌缩样本的输入数据，损失函数、优化器与奖励机制保持不变。作者在局限中说明，当前提示生成与推理引导只在单模态场景验证，复杂动态环境与多模态融合任务尚未充分探索。
作者把当前机制限定在单模态场景，复杂动态环境与多模态融合任务的适用性尚未充分探索。超参数分析显示，最大重试次数在数学与代码上均以2为峰值，而最大修复轮数随模型与任务变化，例如Qwen3-4B在数学上以2为峰值，较小的Llama-3.2-3B-Instruct则需要3轮，说明更细微的错误模式需要更深的语义分析。案例中也有引导后仍答错的轨迹，例如新采样中仍有一条给出错误结论。