固定参考策略会让最优回答概率塌缩：把KL参考定期重置到最新策略，PPO与GRPO变体重新获得全局收敛保证
核心概要
语言模型后训练常用的策略优化以基座模型为起点，但REINFORCE（PPO与GRPO的基础）可能在奖励上升的同时把最优回答的概率压到接近零，即使有KL正则化到基座模型、即使使用精确梯度，收敛也可能需要指数多步。把KL正则化的参考策略定期重置为最新策略，可形式化为近似策略镜像下降（APMD）：每个子问题在强正则下局部求解，多次重置累积到全局最优。对softmax线性策略，该框架首次给出带参考重置的PPO、GRPO变体以及Kimi风格平方损失算法的全局收敛与覆盖保持保证。
深度剖析
后训练中的策略优化可能一边提高奖励、一边丢掉基座模型原本擅长的回答，这种覆盖塌缩会让梯度信号消失，使优化长时间停在奖励平台上。 此前Best-of-N采样和基于奖励筛选样本的监督微调已有依赖基座模型覆盖的样本复杂度保证，而策略优化缺少同类保证；常见收敛分析要么假设均匀初始策略，要么无法排除基座模型很好时仍然表现很差。 在表格softmax策略、精确梯度、单提示bandit构造上，基座模型对最优回答的覆盖为常数，但REINFORCE在任意学习率和任意KL正则强度下，若从某一轮起保持近优，则途中必有一轮的最优回答概率指数级变小，且该阶段期望奖励严格上升。
把正则化锚定的参考策略定期换成最新策略，学习器就能在强正则下只做局部改进，再靠多次重置累积到全局最优。 固定参考时正则必须足够弱才允许策略显著改进，而弱正则又放不住覆盖塌缩；参考重置让强正则与持续改进同时成立。 该干预被形式化为近似策略镜像下降（APMD）：每轮先把参考设为当前策略，再用内层循环近似求解一个KL正则子问题；只要每个子问题与精确镜像下降目标的KL散度足够小，最终策略保持镜像下降的次线性收敛率，且大多数提示上每一轮迭代生成最优回答的频率至少是基座模型的一半。
在softmax线性策略（冻结预训练特征上学习）下，带参考重置的PPO、GRPO风格变数和Kimi风格平方损失算法都被证明是覆盖保持的。 此前这些算法缺少端到端的全局收敛保证，正则化、裁剪和目标选择各自的作用也没有被分开刻画。 PPO-NoClip在强正则下用受控的重要性权重完成内层优化；加入裁剪的PPO-Lite把所需批量大小与预设裁剪阈值挂钩，而不依赖训练中策略比值的大小；KimiPO用均值基线、KimiPO-Norm用归一化基线、Rebel-OnPolicy用成对回答消去基线，均在相应正则与样本量选择下满足覆盖保持条件。
启示与展望
已证明的范围是softmax线性策略类与线性奖励下的单步推理bandit设定，覆盖保持的样本与梯度步界都在该设定内给出；对PPO-Lite的样本复杂度结论要求策略类有限且每个内层循环达到规定的优化容差。作者明确把多步推理、智能体式多轮交互以及更丰富的策略参数化列为后续工作。
覆盖塌缩的下界构造使用表格参数与精确梯度，作者表示预期该现象在复杂优化 landscape 与随机噪声下仍会出现，但未在此证明；PPO-Lite的裁剪收益分析未覆盖裁剪生效时的具体内层优化过程，因为目标在裁剪阈值处不可微；KimiPO因均值基线偏差需要更强正则，从而比PPO-NoClip多出对目标精度的依赖；响应覆盖只是基座模型质量的一种度量，后训练能否超越放大已有行为仍是开放问题。