# 可验证奖励强化学习

离线示范、当前策略采样和历史轨迹现在可以共用一个回归目标训练，在四个数学推理基准上，Qwen3-1.7B的统一配置把平均avg@32和pass@32比两阶段SFT加DAPO分别提高2.33和4.44个百分点。

离线示范、当前策略采样和历史轨迹现在可以共用一个回归目标训练，在四个数学推理基准上，Qwen3-1.7B的统一配置把平均avg@32和pass@32比两阶段SFT加DAPO分别提高2.33和4.44个百分点。

可验证奖励强化学习（RLVR）在任务难度突然超过模型能力时，整批采样轨迹全部失败、奖励全为零，学习信号随之消失。MENTOR把这类失败轨迹保留下来，由多个智能体实时诊断错误根源并生成针对性教学提示，再拼回原题重新采样。在数学与代码生成任务上，它优于GRPO、DAPO及静态提示库等基线，Llama-3.2-3B-Instruct数学平均相对提升最高达78.3%。

可验证奖励强化学习（RLVR）在任务难度突然超过模型能力时，整批采样轨迹全部失败、奖励全为零，学习信号随之消失。MENTOR把这类失败轨迹保留下来，由多个智能体实时诊断错误根源并生成针对性教学提示，再拼回原题重新采样。在数学与代码生成任务上，它优于GRPO、DAPO及静态提示库等基线，Llama-3.2-3B-Instruct数学平均相对提升最高达78.3%。

该工作提出词典序多目标在线策略蒸馏（LMOPD），按显式优先级为每个学生 rollout 选择首个被门控判定为不足的奖励专家，并把其中心化对数策略修正投影以去除与更高优先级专家相冲突的分量，在 30B-A3B 混合专家模型的三项数学基准上，两专家设置下点估计完整保留准确率与推理质量增益并取得 46.9% 的简洁性增益，四专家设置下保留约 90% 的准确率增益与推理正确性增益，而所评估的次优基线仅约 57%。

该工作提出词典序多目标在线策略蒸馏（LMOPD），按显式优先级为每个学生 rollout 选择首个被门控判定为不足的奖励专家，并把其中心化对数策略修正投影以去除与更高优先级专家相冲突的分量，在 30B-A3B 混合专家模型的三项数学基准上，两专家设置下点估计完整保留准确率与推理质量增益并取得 46.9% 的简洁性增益，四专家设置下保留约 90% 的准确率增益与推理正确性增益，而所评估的次优基线仅约 57%。