跳到主要内容
检索

Zhiwei Zhang

1 篇关联报道

订阅更新
  1. arXiv

    ROSS 把训练中丢弃的历史自生成轨迹重新利用,在 Qwen3.6-35B-A3B 上把 MOPD 六基准均值从 58.40% 提到 62.20%、SWE-bench Verified 从 64.20% 提到 68.40%

    ROSS 提出一种选择性监督的再学习流程:从原始 RL、多教师在线蒸馏(MOPD)或智能体 RL 训练中保存的历史自生成轨迹里,先用结果验证器筛出成功轨迹,再由 LLM 审阅者标出值得模仿的模型生成片段,保留完整轨迹作为上下文但只对被选中的 token 施加损失,从而在不产生新 rollout 的离线 SFT 阶段提升上游检查点,在 Qwen3.6-35B-A3B 上把 MOPD 六基准平均从 58.40% 提升到 62.20%、SWE-bench Verified 从 64.20% 提升到 68.40%。

已读完全部报道