Zhicheng Cai

大模型强化学习里的PPO裁剪被推广成散度几何与估计器两个维度的设计空间，其中KL散度配原子估计在八个竞赛级数学与代码基准上把平均分相对标准GRPO提高约50%和14%。

大模型强化学习里的PPO裁剪被推广成散度几何与估计器两个维度的设计空间，其中KL散度配原子估计在八个竞赛级数学与代码基准上把平均分相对标准GRPO提高约50%和14%。

长程自回归强化学习里，局部策略偏差会沿轨迹累积成状态分布偏移，使训练随长度增长而失稳甚至崩溃。轨迹感知策略优化从离策略策略梯度中推导出状态分布修正项并写入优化目标，用几何均值估计压低其方差，再按前序轨迹长度动态收紧裁剪边界。在八个竞赛级数学与代码基准上，它相对GRPO的数学平均提升最高48%、代码平均提升12%，训练分数持续上升而KL散度受控。

长程自回归强化学习里，局部策略偏差会沿轨迹累积成状态分布偏移，使训练随长度增长而失稳甚至崩溃。轨迹感知策略优化从离策略策略梯度中推导出状态分布修正项并写入优化目标，用几何均值估计压低其方差，再按前序轨迹长度动态收紧裁剪边界。在八个竞赛级数学与代码基准上，它相对GRPO的数学平均提升最高48%、代码平均提升12%，训练分数持续上升而KL散度受控。