# 轨迹感知策略优化

长程自回归强化学习里，局部策略偏差会沿轨迹累积成状态分布偏移，使训练随长度增长而失稳甚至崩溃。轨迹感知策略优化从离策略策略梯度中推导出状态分布修正项并写入优化目标，用几何均值估计压低其方差，再按前序轨迹长度动态收紧裁剪边界。在八个竞赛级数学与代码基准上，它相对GRPO的数学平均提升最高48%、代码平均提升12%，训练分数持续上升而KL散度受控。

长程自回归强化学习里，局部策略偏差会沿轨迹累积成状态分布偏移，使训练随长度增长而失稳甚至崩溃。轨迹感知策略优化从离策略策略梯度中推导出状态分布修正项并写入优化目标，用几何均值估计压低其方差，再按前序轨迹长度动态收紧裁剪边界。在八个竞赛级数学与代码基准上，它相对GRPO的数学平均提升最高48%、代码平均提升12%，训练分数持续上升而KL散度受控。