跳到主要内容
检索

# Terminal-Bench 2

2 篇关联报道

订阅更新
  1. arXiv

    SWR 用 500 个科学软件工作流自监督生成训练环境,使 Qwen3.8-27B 在 Terminal-Bench 2 上从 47.94% 提升到 53.56%

    作者提出 software-in-the-loop reconstruction(SWR)自监督框架,从已有软件工作流中自动获取参考输出与验证目标,在 500 个工作流、46 个软件家族、六个领域上实例化,用 Qwen3.8-Max 三次尝试解出 838 个任务并得到 1,422 条已验证轨迹,过采样为 3,000 条重建训练样本,监督微调使 Qwen3.8-27B 在 Terminal-Bench 2 上的平均表现从 47.94% 提升到 53.56%,并在四项报告评测上取得四个等 token 语料对照中的最高均值。

  2. arXiv

    ActiveSaddler 让训练场景随 harness 共同演化,在 GAIA2 与 Terminal-Bench 2.0 上把 Pass@1 分别提高 4.4 和 7.5 个百分点

    该工作把离线 harness 优化中的训练场景选择形式化为自动课程学习问题,提出 ActiveSaddler:用非平稳多臂老虎机把反复出现的失败抽象为可复用的失败模式臂,估计每个臂的潜在学习进展并自适应平衡重访已知弱点与探索未见场景,在 GAIA2 和 Terminal-Bench 2.0 上相比同一优化器使用固定场景顺序分别把测试 Pass@1 提升 4.4 和 7.5 个百分点。

已读完全部报道