长程推理RL训练不再中途崩：状态分布修正让数学平均比GRPO高48%、代码高12%
核心概要
长程自回归强化学习里，局部策略偏差会沿轨迹累积成状态分布偏移，使训练随长度增长而失稳甚至崩溃。轨迹感知策略优化从离策略策略梯度中推导出状态分布修正项并写入优化目标，用几何均值估计压低其方差，再按前序轨迹长度动态收紧裁剪边界。在八个竞赛级数学与代码基准上，它相对GRPO的数学平均提升最高48%、代码平均提升12%，训练分数持续上升而KL散度受控。
深度剖析
长程自回归强化学习多了一个显式修正对象：不只是每个动作的概率比，还有前序轨迹造成的状态分布偏移。 此前的GRPO在词元级、GSPO在序列级做重要性比修正，两者都只按动作似然纠正偏差，不显式处理前序轨迹诱导的状态分布。 随响应长度增长，行为策略与目标策略之间的KL散度上升，GRPO与GSPO最终出现训练崩溃，表现为训练分数下降与熵波动。
修正项来自离策略策略梯度的推导，落地时用几何均值代替逐词元似然比的连乘，并按轨迹长度调整裁剪范围。 逐词元比连乘的方差随前序轨迹长度指数增长，固定裁剪边界无法在不同位置提供一致的容忍度。 几何均值把修正比方差压到随长度衰减，长度感知动态裁剪让早期词元容忍更宽、后期更紧；在Qwen3-8B-Base上以8次采样、最长20k词元、750步训练，数学用DAPO-Math-17k、代码用Eurus-Code-25k。
在八个竞赛级基准上，轨迹感知修正同时改善数学推理与算法代码生成，并保持训练稳定。 相对GRPO，数学平均提升最高48%、代码平均提升12%；相对最强的词元级方法RIPO，数学与代码平均分别再提升0.5与1.4个百分点。 数学用AIME24、AIME25、BRUMO25、SMT25，代码用Codeforces、CodeContests、TACO、APPS，取最佳检查点并重复评测8次；在Qwen3-1.7B-Base与Qwen3-4B-Base上相对GRPO平均提升31.5%与21.3%。
启示与展望
报告覆盖的是长程自回归LLM强化学习中的策略优化，实验在Qwen3-8B-Base、Qwen3-4B-Base与Qwen3-1.7B-Base上训练，数学推理用DAPO-Math-17k、算法代码用Eurus-Code-25k，评测为AIME24、AIME25、BRUMO25、SMT25与Codeforces、CodeContests、TACO、APPS八个竞赛级基准，取最佳检查点并重复评测8次。适用读者是训练长程推理模型的强化学习研究者与工程实现者，关注的是训练稳定性与推理成绩的同步变化。
训练动态显示GRPO与GSPO随策略偏移增大最终崩溃，而轨迹感知修正保持KL散度受控与熵稳定，这一对比来自数学推理的训练曲线。消融表明对完整轨迹比做几何平均是稳定训练的关键，去掉裁剪会突然崩溃，GRPO量级的边界对后期词元约束不足，GSPO量级的边界对早期词元约束过紧。方法在数学与代码两类可验证奖励任务上验证，其他长程推理场景的表现尚未在材料中给出。