智能体不再等外部教师出题:ClawLoop 让它在同一沙箱里自出题、自诊断、自训练
核心概要
ClawLoop 把任务合成、训练与失败诊断串成闭环,让基于 harness 的智能体无需外部教师模型即可自我改进,在 SkillsBench、Claw-Eval-Live 与 ClawGym-Bench 上均优于单次合成的 ClawGym。
深度剖析
基于 harness 的智能体训练不再依赖外部更强的教师模型,而是由智能体自己在同一沙箱环境里合成任务、收集轨迹并诊断弱点。 此前的 harness 智能体训练管线是单次且依赖教师的:由外部更强模型合成任务并收集轨迹,目标智能体只训练一次,评测结果交给人类研究者而不是回灌到下一轮。 以 Qwen3.6-27B 作为循环内模型,ClawLoop 在 SkillsBench 上取得 57.2,高于 ClawGym 的 52.6 与基线的 46.3;在 Claw-Eval-Live 上为 76.9,高于 74.6 与 69.3;在 ClawGym-Bench 上为 68.4,高于 61.9 与 67.6。
循环每一轮由三个阶段组成:任务合成、模型训练、诊断与反馈,诊断报告会作为下一轮任务合成的输入。 任务合成从两条互补路线出发,一条按能力目录构造工作区,另一条从带工具与数据库的专业领域出发拆解技能,再经难度增长与两阶段校验。 训练阶段对成功轨迹做自蒸馏 SFT,并用 GRPO 在通过校验的任务上继续优化;每轮合成 1024 个任务,每个任务收集 8 条轨迹,只保留通过次数落在 1 到 5 之间的任务。
循环产出的任务可以迁移到更小的模型上,说明数据质量不依赖循环模型本身的能力。 ClawGym 依赖 MiniMax-M2.5 与 GLM-5.1 等外部教师模型同时完成合成与轨迹收集,而 ClawLoop 不使用任何教师模型。 用 ClawLoop 生成的数据训练 Qwen3.5-4B 与 9B,在三个基准上均取得提升:4B 在 Claw-Eval-Live 上从 32.4 升到 48.0,9B 从 58.3 升到 71.7。
启示与展望
该框架在 OpenClaw 提供的沙箱环境中实现,训练与评测使用同一 harness 以保持分布一致;循环内模型为 Qwen3.6-27B,每轮合成 1024 个任务,共运行三轮。三个外部基准在循环中不参与训练、任务选择或难度调度,诊断阶段只观察留出的合成任务划分。适合关注智能体后训练与任务合成的读者。
性能在早期迭代稳步提升,但在 Claw-Eval-Live 与 ClawGym-Bench 上约在第三轮趋于饱和,SkillsBench 仍能从更多迭代中获益。准入率并非单调下降,从第一轮的 65.6% 降到第二轮的 45.8%,再回升到第三轮的 55.4%,轨迹长度同步起伏,说明难度增长一度过冲后回调。4B 与 9B 模型并不运行自己的诊断阶段,而是继承由 27B 模型弱点塑造的课程,因此它们的提升应读作关于课程质量的证据,而非完整循环的实例。
