GRPO课程不再按固定表推进:难度采样跟着探针准确率走,中间难度提升最大
GRPO强化微调中,固定由易到难的课程表常与模型实际进度脱节。ClosedLoopGaussian保留高斯采样器的形式,用每隔若干步的探针准确率反馈调节推进速度与复习宽度,不改奖励、模型结构或优化器。在Countdown上四个随机种子的平均精确匹配准确率高于固定课程与原始GRPO,增益集中在中间难度,但种子间离散度大,结果只作描述性解读。
GRPO强化微调中,固定由易到难的课程表常与模型实际进度脱节。ClosedLoopGaussian保留高斯采样器的形式,用每隔若干步的探针准确率反馈调节推进速度与复习宽度,不改奖励、模型结构或优化器。在Countdown上四个随机种子的平均精确匹配准确率高于固定课程与原始GRPO,增益集中在中间难度,但种子间离散度大,结果只作描述性解读。
该工作提出层次化连续扩散语言模型 HC-DLM,让连续隐变量成为唯一跨步持久的生成状态、每一步从隐状态读出 token 并回馈为下一步隐更新的条件支架,其训练目标由 token 似然的变分下界导出;在同等模型规模下,它在 Sudoku 与 Countdown 的谜题准确率以及 LM1B 的生成困惑度上均优于离散与连续扩散基线。
已读完全部报道