EasyPPO 指出 PPO 评论家两类失效模式，在三项任务上稳定训练并相对 PPO 提升 14.89%、2.28%、9.47%
该工作识别出 PPO 在 LLM 强化学习中的两类评论家失效模式——对截断轨迹同时过滤演员与评论家会把策略目标变为“以完成为条件”的奖励，以及同一批次内不同提示的回报噪声异质会让高方差提示主导评论家更新——并提出 EasyPPO，用仅作用于演员的超长过滤、按回报标准差倒数加权的噪声归一化评论家回归、以及配合梯度裁剪的适度更小评论家小批量来应对，在 FrontierCS 连续奖励编程、AIME24 二元奖励数学推理和 Search-R1 多轮搜索上全程保持稳定，最佳验证分数相对 PPO 分别提升 14.89%、2.28% 和 9.47%。