跳到主要内容
检索

Hao Li

1 篇关联报道

订阅更新
  1. arXiv

    RIDE 把 RL 教师的隐藏状态残差外推,在四个基座/教师对上均值追平或超过教师

    该工作提出 RIDE(RL-Induced Direction Extrapolation):在学生自采样轨迹上,逐层计算 RL 教师与其 RL 前检查点之间的隐藏状态残差,把学生的表示回归目标沿该残差外推到教师之外,在四个基座/RL 教师对(R1-Distill-1.5B、Qwen3-4B、Llama-3.2-3B、Phi-4-mini)上于 AIME24、AIME25、AIMO 的 Avg@16 均值均接近或超过 RL 教师,是唯一均值做到这一点的对比方法,并一致优于输出空间外推。

已读完全部报道