终端智能体自己造训练环境:有效环境率最高提升25倍,单环境成本降75%
核心概要
AutoEnvScaling把强化学习环境设计本身变成终端任务,让提议智能体从求解器的 rollout 中生成新环境,有效环境率最高提升25倍、单个有效环境成本最多降低75%。
深度剖析
训练终端智能体的强化学习环境不再只由人类研究者设计,而是由智能体从训练中的求解器 rollout 里自动生成。 此前这类环境主要靠人工设计,供给速度受限于研究者的工作速度。 与仅靠提示词生成环境相比,AutoEnvScaling 把有效环境率最高提升25倍,单个有效环境成本最多降低75%。
环境生成被当作一个终端任务来执行,提议智能体据此搭建新环境,求解器的新 rollout 再指导下一轮生成。 这条数据飞轮把环境生成与任务求解放进同一个终端操作循环,而不是两套分离的流程。 在 GPT-5.6-sol 生成的 AutoEnvScaling 环境上训练 Qwen3.5-35B-A3B,其 Terminal-Bench 2.1 得分比匹配的 Tmax 基线高4.3分。
同一个模型可以同时扮演环境生成者和求解者两个角色,让两个角色共同演化。 此前的流程把环境供给与求解训练分开,模型只在一个角色上迭代。 Qwen3.6-35B-A3B 同时担任两个角色时,Terminal-Bench 2.1 提升12.2分,Terminal-Bench 4.0 从1.6升到3.2。
启示与展望
报道覆盖的是 AutoEnvScaling 的摘要级内容:环境生成被当作终端任务,提议智能体从求解器 rollout 生成新环境,并在软件工程、计算机使用、专业工作和 GPU 内核编程等智能体领域生成环境。适合关注终端智能体强化学习训练与环境供给的研究者和工程师阅读。来源未给出下一步实验安排。
来源以摘要形式给出结果,未说明环境生成的具体实现、验证方式与实验规模。有效环境率与成本数字是相对仅提示词生成的上限值,Terminal-Bench 得分来自特定模型与基线配对,来源未报告其他设置下的表现。
