智能体训练环境不再先造数据库:ToolSpace从真实调用轨迹重建工具空间,七个基准平均分最高提升18分
核心概要
ToolSpace把智能体训练环境的合成顺序倒过来:先从真实MCP服务与公开智能体语料的执行轨迹中,用确定性规则挖出数据、状态与重试三类工具依赖,聚成环境簇,再按需合成数据库并做带回滚的状态感知随机游走,把可重放的调用链反写成带断言校验的自然语言任务。在七个长程工具使用基准上,Qwen3.6-35B-A3B平均分从23.0升到41.0,加智能体强化学习后为43.2;GLM-5.2从44.6升到56.6。
深度剖析
智能体训练数据的合成顺序被倒了过来:不再先造数据库和场景再派生工具,而是把工具当作能力增长的基本单元,先重建工具之间的真实连接,再让任务复杂度从工具组合空间的扩张中长出来。 此前的环境扩展方法以数据为中心,先合成底层数据库与主题场景,再据此派生工具和任务,因此工具接口可能与真实定义不一致,工具组合缺少执行依据,任务也很少跨越一个以上环境。 重建出的工具图包含77,760个工具调用模式节点,来自2,042个不同的规范工具,节点平均出度为2.3、最大为56;其中数据、状态、重试三类边分别占69%、25%和6%,每条边都由真实轨迹中的相邻调用见证。
工具空间由执行轨迹直接长成:相邻调用之间的依赖用确定性规则判定,不交给大模型判断,再按连接密度把工具聚成环境簇。 数据依赖要求下游参数可追溯到上游输出且字段类型匹配,状态依赖要求前一次调用改动了某个环境对象、后一次调用读取或继续改动同一对象,重试依赖记录报错后换工具并成功的恢复过程;候选边按观测到的转移频率加权,低频边被剔除。 参考清单覆盖804个真实MCP环境,平均每个环境匹配10.86个工具、最多436个;其中453个工具(22.2%)会改动状态,181个环境(22.5%)属于操作型环境,其余环境复用记录返回值而不新建数据库。
任务由可执行链条反写而来:在加权工具图上做状态感知随机游走,按边权采样状态相容的后继,失败则回滚到快照并重采,保留下来的链条再被反写成不含工具名和调用顺序的自然语言任务。 每条链都配有断言式校验脚本,分别检查最终状态、关键中间快照和返回结果中必须出现的字段,只有从初始状态重放并通过全部检查的样本才进入数据集。 共合成34,376条轨迹,其中21,385条至少有五次工具调用;这些轨迹平均18.86次工具调用、最多209次,平均跨越2.29个环境、最多22个,至少66.2%的轨迹涉及两个及以上环境。
同一套流程可以把已有基准加难:把流水线锚定到AutomationBench与-Bench Banking,得到AutomationBench Pro(300个任务)与-Bench Banking Pro(98个任务)。 Pro版本在工具调用轮次和跨环境广度上都超过标准版本,AutomationBench上各模型的平均工具调用从标准版的26.8–43.6次升到Pro版的56.3–60.6次。 七个前沿模型在Pro版上全部明显下降,AutomationBench上最大降幅达38.2分,Claude Opus 5.5与GPT 6.1 Sol分别下降32.9分和26.1分;候选任务经三位博士级专家独立评审两天,只保留至少两位专家认可的任务。
启示与展望
已展示的范围是七个长程工具使用基准上的评测,以及AutomationBench与-Bench Banking两个基准的Pro版本构建;训练在Qwen3-8B、Qwen3.6-35B-A3B和GLM-5.2-744B-A40B三个骨干上进行,所有ToolSpace结果取三次独立运行的平均。
环境合成成本的节省以合成文件数为代理衡量:在从Agent-World公开库随机抽取的500个环境中,Agent-World合成全部2,724个文件,ToolSpace只合成与操作型环境相关的1,218个文件,减少1,506个、即55.3%;原文说明该代理并不直接测量token、实际耗时、API或算力成本。数据规模分析中,SFT混合比例过小时BFCL V4与OfficeQA Pro出现低于骨干的小幅下降,比例提高后趋势才稳定。
