强化学习奖励全为零时不再丢弃失败轨迹:实时诊断加提示,Llama-3.2-3B数学平均相对提升78.3%
可验证奖励强化学习(RLVR)在任务难度突然超过模型能力时,整批采样轨迹全部失败、奖励全为零,学习信号随之消失。MENTOR把这类失败轨迹保留下来,由多个智能体实时诊断错误根源并生成针对性教学提示,再拼回原题重新采样。在数学与代码生成任务上,它优于GRPO、DAPO及静态提示库等基线,Llama-3.2-3B-Instruct数学平均相对提升最高达78.3%。
可验证奖励强化学习(RLVR)在任务难度突然超过模型能力时,整批采样轨迹全部失败、奖励全为零,学习信号随之消失。MENTOR把这类失败轨迹保留下来,由多个智能体实时诊断错误根源并生成针对性教学提示,再拼回原题重新采样。在数学与代码生成任务上,它优于GRPO、DAPO及静态提示库等基线,Llama-3.2-3B-Instruct数学平均相对提升最高达78.3%。
已读完全部报道