GRPO课程不再按固定表推进：难度采样跟着探针准确率走，中间难度提升最大
核心概要
GRPO强化微调中，固定由易到难的课程表常与模型实际进度脱节。ClosedLoopGaussian保留高斯采样器的形式，用每隔若干步的探针准确率反馈调节推进速度与复习宽度，不改奖励、模型结构或优化器。在Countdown上四个随机种子的平均精确匹配准确率高于固定课程与原始GRPO，增益集中在中间难度，但种子间离散度大，结果只作描述性解读。
深度剖析
训练提示的难度分布不再由训练前固定的课程表决定，而是随模型在各级难度上的实测通过率调整。 此前的由易到难高斯课程在训练开始前就固定推进节奏和分布宽度，之后无论模型学得快、卡住还是在早期技能上退步都照原样推进。 在Countdown上以相同rollout预算比较四个随机种子，ClosedLoopGaussian的平均精确匹配准确率高于固定高斯课程与原始GRPO，且四个种子逐一超过固定课程。
控制器只改变采样分布，模型、验证器、奖励函数和GRPO优化器都保持原样。 做法是保留与固定基线相同的高斯由易到难采样器，把节奏和宽度两个参数改为在线调节，因此反馈本身成为两组之间唯一的设计差异。 每隔固定优化步数，用未改动的Countdown验证器对每个难度桶的预缓存留出样例做贪心评估，得到逐桶准确率作为反馈信号。
反馈分两路：一路按与参考进度的偏差加快或放慢向更难桶推进，另一路在较易桶出现遗忘时加宽复习范围。 此前的自适应课程多用单一目标难度或任务选择策略表示课程状态，没有把推进快慢与复习宽度分开控制。 四个种子的控制器轨迹显示两种走向：三个种子探针准确率上升、推进加快；一个种子能力偏低，推进回到参考值而复习宽度扩大。
启示与展望
结论建立在Llama-3.2-3B-Instruct配合LoRA、单一Countdown符号算术任务和四个随机种子上，训练与评估都在这一受控设定内完成。作者把扩展到更多模型、任务与种子，以及与AdaRFT、DUMP、SEC等自适应课程的直接比较列为后续工作。
作者指出种子间离散度相对均值差距较大，四个种子不足以支持统计显著性主张；原始GRPO在两个种子上跌到接近下限的准确率，均值需结合这种双峰分布理解。控制器阈值、增益与边界为手工校准，过严设置可能导致课程停滞，单种子诊断也未建立节奏与宽度的因果分解。