# 广义近端策略优化

大模型强化学习里的PPO裁剪被推广成散度几何与估计器两个维度的设计空间，其中KL散度配原子估计在八个竞赛级数学与代码基准上把平均分相对标准GRPO提高约50%和14%。

大模型强化学习里的PPO裁剪被推广成散度几何与估计器两个维度的设计空间，其中KL散度配原子估计在八个竞赛级数学与代码基准上把平均分相对标准GRPO提高约50%和14%。