智能体强化学习不再只靠自己摸索：失败轨迹在采样时被就地纠正，导航通过率从35%升到57%
核心概要
阿里团队提出采样时干预（RTI），在整组轨迹全部失败时用奖励侧评分标准就地纠正关键错误步骤，让智能体强化学习学到原本探索不到的成功轨迹，导航基准Pass@1从GRPO的35.33升到57.33。
深度剖析
智能体强化学习可以学到当前策略自己几乎采样不出的成功轨迹，从而越过原有能力边界。 此前的智能体强化学习受同策略性质限制，主要放大策略已支持的行为；当任务超出能力边界时成功轨迹极度稀疏，训练不稳定甚至崩溃。 在五个基准上，RTI一致优于GRPO、GSPO、AEPO以及教师引导的OPD和LUFFY；以Qwen3-8B为骨干时，-Telecom的Pass@1比GRPO高24.56分，Navigation高22.00分。
干预只在整组轨迹全部失败时触发，由验证器、纠正器和校验器三步把失败轨迹改成成功轨迹，再按困惑度过滤偏离过大的样本，并把更新权重集中到改变推理方向的关键词元上。 纠正后的轨迹来自干预诱导的行为策略，与原始策略存在分布偏移；直接使用会因重要性比值超出裁剪范围而压制学习信号，低概率动作还会带来高方差梯度。 在Navigation和-Telecom上用Qwen3-8B做消融：去掉完整性校验后-Telecom几乎退回GRPO水平，Navigation的Pass@1从57.33降到26.00；去掉困惑度门控后-Telecom的Pass@1从61.40降到54.39；去掉词元重加权后十六项指标全面略降。
启示与展望
报告面向做智能体强化学习与工具调用训练的研究人员和工程师。RTI在五个基准上验证：自建的多航点导航、-Bench的Telecom、Retail、Airline三个域，以及Claw-Eval-Hard20；骨干为Qwen3-8B和Qwen3.5-9B，三个干预角色默认由策略模型自身担任。训练动态显示，干预在训练早期提供成功轨迹，随后策略在无干预时的成功率也上升。
干预轨迹本质上仍是离策略的，只有过滤掉分布偏移过大的轨迹后才能有效指导策略优化；门控阈值过小会丢弃过多纠正轨迹，过大则引入严重偏移的干预并使优化不稳定。使用更大的Qwen3.5-397B-A17B做干预模型时，纠正偏离策略分布更远、更难学习，标准自干预反而取得最好结果。Rest-OOD上的提升相对温和，部分原因是该集合未做难度筛选，其中相当一部分任务在评测环境下不可行或难以可靠评测。