GRPO课程不再按固定表推进:难度采样跟着探针准确率走,中间难度提升最大
GRPO强化微调中,固定由易到难的课程表常与模型实际进度脱节。ClosedLoopGaussian保留高斯采样器的形式,用每隔若干步的探针准确率反馈调节推进速度与复习宽度,不改奖励、模型结构或优化器。在Countdown上四个随机种子的平均精确匹配准确率高于固定课程与原始GRPO,增益集中在中间难度,但种子间离散度大,结果只作描述性解读。
GRPO强化微调中,固定由易到难的课程表常与模型实际进度脱节。ClosedLoopGaussian保留高斯采样器的形式,用每隔若干步的探针准确率反馈调节推进速度与复习宽度,不改奖励、模型结构或优化器。在Countdown上四个随机种子的平均精确匹配准确率高于固定课程与原始GRPO,增益集中在中间难度,但种子间离散度大,结果只作描述性解读。
已读完全部报道