终端智能体不再只练短命令:约3千条长轨迹微调,Terminal-Bench 2.1 从46.82升到60.67
导语
终端智能体的训练数据从短命令演示转向平均52.8轮的长程轨迹,用约3千条轨迹微调Qwen3.5-27B后,Terminal-Bench 2.1从46.82升到60.67,并在12个基准上全面超过基座模型。
正文
终端智能体的训练数据不再以短命令演示为主,而是转向平均52.8轮的长程轨迹,让模型在同一个目标下连续探索、诊断、实现和验证。 此前的终端任务合成方法虽然扩大了任务覆盖,但轨迹平均偏短,只能展示几步之内的行为模式,难以提供持续解题的经验。 在相同教师协议和设置下,从若干开源终端任务合成方法中各随机抽取300个任务做对照,这些轨迹的平均交互长度为52.8轮、第90百分位为98轮,明显长于对照方法。
这些长程轨迹被用来微调一个27B参数的模型,训练后模型在编码、真实生产场景和通用推理三类共12个基准上都优于基座模型。 基座模型Qwen3.5-27B在Terminal-Bench 1.0、2.0、2.1上的成绩分别为46.3、41.6和46.82。 微调后的TerminalHorizon-27B在这三项上达到55.0、55.8和60.67,分别提升8.7、14.2和13.85个百分点;在AutomationBench上通过率提升11.7个百分点、部分分提升23.3个百分点,VitaBench提升11.3个百分点。
长程轨迹的生成靠一个全自动的数据合成引擎,它先用独立执行找出任务构建时被提前完成或简化的关键工作,再据此重建环境。 如果环境在构建阶段就把分析、实现或验证做完了,智能体在解题时就会跳过这些步骤,预期的行为模式无法出现。 引擎让未参与构建的独立挑战者只凭公开指令解题,用其轨迹诊断哪些工作被省略,再修改初始状态、对象关系、实现要求或工具反馈,并同步更新指令、参考解和验证器。
在同一个目标下,任务被逐步扩展出依赖前序结果的新要求,使行为模式能跨阶段延续。 更难的题目或更多的交互轮数并不必然延长这些模式,也不必然加强它们之间的联系。 扩展通过三种交互设计把新增要求接到任务中已出现或产生的证据、产物和状态上,使后续工作依赖先前进展;被接受的候选任务成为下一轮扩展的父任务。
接下来
这套引擎面向终端环境中的长程专业任务,覆盖25个专业领域,训练数据为1,535个任务环境和2,852条轨迹。评估在12个基准上进行,另有四个12小时自主研究案例,每个案例对应一次研究运行,以最终提交在隐藏测试集上的表现计分。读者若关心长程数据配方,可关注其任务构建与轨迹筛选流程。
论文报告从1000条扩展到约3千条训练轨迹时Terminal-Bench 2.1升至60.67,并称未观察到性能饱和,但未给出更大规模的结果。四个自主研究案例各为一次研究运行,其隐藏集得分是优化分数而非任务成功率。轨迹筛选与基准去污染流程在附录中描述,本报告未逐条核对其判定细节。
