固定参考策略会让最优回答概率塌缩：把KL参考定期重置到最新策略，PPO与GRPO变体重新获得全局收敛保证
语言模型后训练常用的策略优化以基座模型为起点，但REINFORCE（PPO与GRPO的基础）可能在奖励上升的同时把最优回答的概率压到接近零，即使有KL正则化到基座模型、即使使用精确梯度，收敛也可能需要指数多步。把KL正则化的参考策略定期重置为最新策略，可形式化为近似策略镜像下降（APMD）：每个子问题在强正则下局部求解，多次重置累积到全局最优。对softmax线性策略，该框架首次给出带参考重置的PPO、GRPO变体以及Kimi风格平方损失算法的全局收敛与覆盖保持保证。