终端智能体自己造训练环境:有效环境率最高提升25倍,单环境成本降75%
AutoEnvScaling把强化学习环境设计本身变成终端任务,让提议智能体从求解器的 rollout 中生成新环境,有效环境率最高提升25倍、单个有效环境成本最多降低75%。
AutoEnvScaling把强化学习环境设计本身变成终端任务,让提议智能体从求解器的 rollout 中生成新环境,有效环境率最高提升25倍、单个有效环境成本最多降低75%。
终端智能体的训练数据从短命令演示转向平均52.8轮的长程轨迹,用约3千条轨迹微调Qwen3.5-27B后,Terminal-Bench 2.1从46.82升到60.67,并在12个基准上全面超过基座模型。
该工作提出 CoTrace——一种在模型与运行时(harness)交替协同演化中显式管理轨迹路由、来源匹配与课程刷新的数据配方:它把执行失败导向 harness 合成,只用在已采纳运行时下验证成功的轨迹训练策略;在 Tmax 的 102 任务评测划分上,Qwen3.5-9B 经监督微调从 78 提升到 88,在线强化学习变体达到 90,而规模更大的跨 harness 混合语料却未带来任何被采纳的模型更新。
作者提出 software-in-the-loop reconstruction(SWR)自监督框架,从已有软件工作流中自动获取参考输出与验证目标,在 500 个工作流、46 个软件家族、六个领域上实例化,用 Qwen3.8-Max 三次尝试解出 838 个任务并得到 1,422 条已验证轨迹,过采样为 3,000 条重建训练样本,监督微调使 Qwen3.8-27B 在 Terminal-Bench 2 上的平均表现从 47.94% 提升到 53.56%,并在四项报告评测上取得四个等 token 语料对照中的最高均值。
该工作提出 Mid-Harness,在动作生成器与执行框架之间对候选动作进行采样与验证后再执行其中一个,在保持生成器和框架不变的前提下研究动作级测试时计算扩展:在 TerminalBench-Lite 上,用 GPT-5.6 Sol 作为验证器把 TMAX-9B 的 Pass@1 从 50.00% 提升到 68.03%(8 个候选动作),而弱验证下增加采样宽度收益很小,成对验证在自验证设置中表现最好,把强验证器的响应蒸馏进 TMAX-9B 可进一步提升 Pass@1,且动作级扩展与轨迹级扩展(Best-of-N 与 Sequential Refine)组合后能以更低的估计 token 成本取得更高成功率。
已读完全部报道