PPO的裁剪不再只有一种几何：换成KL散度加原子估计，数学推理均分从27.7升到41.5

大模型强化学习中的近端策略优化不再被当作一条固定的裁剪规则，而被写成由两个可独立选择的维度决定的设计空间：约束哪一种散度，以及用什么估计器去估计它。 此前PPO及其后续变体各自针对具体经验现象做零散修改，缺少一个统一的第一性说明来解释这些机制之间的关系。 在八个竞赛级数学与代码基准上，四个散度与三种估计器组成的网格被逐一评测，PPO、DAPO、DPPO、RIPO都落在其中某些格子上。

约束的散度决定策略更新被允许走多远，估计器决定这个约束在采样下如何被真正执行。 PPO约束的是全变差散度的单样本蒙特卡洛估计，其生成函数曲率为零、上下界对称，对策略偏移的大小没有自适应阻力。 在数学推理上，KL散度配原子估计的平均分为41.5，全变差散度配单样本蒙特卡洛为27.7；在代码生成上分别为59.7和52.4。

原子估计按参考策略的概率给每个动作的散度贡献加权，低概率动作上的大比值偏移不再被直接判为越界。 单样本蒙特卡洛只评估被采样到的那个动作，其裁剪决定对采样方差高度敏感。 在代码生成的每一列中原子估计都排第一，四种散度平均后原子估计在数学和代码上分别比单样本蒙特卡洛高出更多，而单样本蒙特卡洛的熵快速塌向零、分数曲线较早进入平台。

报道覆盖的是在Qwen3-8B-Base上、用DAPO-Math-17k与Eurus-Code-25k训练、在八个竞赛级数学与代码基准上评测的结果，奖励为可验证的对错信号。适合正在设计或调参大模型强化学习近端约束的研究者与工程师阅读，用来判断自己该选哪一种散度几何与估计器拓扑。

散度几何与估计器拓扑的排序并非在所有任务上一致：二元估计在数学上反超，而在代码上对非全变差散度的增益有限。原子估计相对单样本蒙特卡洛的偏差方差优势来自附录中的分析，其实际收益仍取决于参考概率的分布。