智能体基准不再只换题:保留原目标,递归改写环境依赖,六个模型成功率全线下跌
核心概要
智能体评测的难度来源从换题转向改环境。递归环境缩放(RES)在不改变任务目标与完成条件的前提下,改写信息获取路径、资源关系与执行依赖,并用可执行校验逐轮接受改动、让子代继承。在三个基准的294个初始任务上,六个评测模型的任务成功率全部下降,Claw-Eval-Live上降幅为57.14至77.14个百分点;用等量轨迹和相同优化设置微调时,RES轨迹在全部九组模型—基准对比中优于原始轨迹监督微调7.00至14.61个百分点。
深度剖析
智能体基准的难度可以来自环境本身,而不必来自更换任务。RES把已有基准环境当作可缩放的维度,在保留核心目标、底层事实和完成要求的前提下,改写信息获取方式、资源之间的连接关系以及动作何时可用。 此前扩展智能体经验的做法多集中在合成新任务或从零搭建环境;RES的对照对象是同一任务的原始环境,两者构成配对比较,而不是与另一批任务比较。 在Claw-Eval-Live、Workspace-Bench-Lite和Terminal-Bench 2.1共294个初始任务上,六个评测模型在全部18组模型—基准对比中成功率均下降;Claw-Eval-Live上DeepSeek-V4.1-Flash从82.86%降到5.71%,Claude Opus 5从86.67%降到28.57%。
被接受的改动会沿任务谱系累积,后续变换可以复用已有访问路径,并把新的前置条件挂到继承下来的操作上,使同一目标周围的执行路径变长。 消融把递归继承与独立增强分开比较:两者使用相同的名义构造机会,独立增强每次都从原始环境出发,递归构造则在上一代被接受的环境上继续。 在15个任务上,递归构造的pass@1为6.7%,独立增强为93.3%,原生分数分别为14.40与88.73,递归一侧的平均目标token消耗约为独立一侧的2.5倍;去掉跨操作引用与准备前置条件后,pass@1从0.0%回到100.0%,平均轮数从50.0降到19.1。
在缩放环境中采集的轨迹可以用于训练,并迁移回原始任务。 两种训练条件从同一Base检查点出发,使用等量轨迹和相同优化设置,区别只在轨迹来自原始ClawGym环境还是RES缩放环境。 三个Qwen3.5 Base骨干在全部九个模型—基准对比中,RES轨迹的监督微调都优于原始轨迹监督微调,增益为7.00至14.61个百分点;三个骨干在Claw-Eval-Live、Workspace-Bench-Lite和Terminal-Bench 2.1上的平均增益分别为10.16、10.00和10.86个百分点。
启示与展望
报告覆盖三个基准的294个初始任务,评测在冻结环境后按每任务一次尝试、50轮上限、高推理强度进行,工具权限与评分在同一配对内固定。变换由GPT-5.6 Sol提出,缩放阶段的目标模型为DeepSeek-V4.1-Flash,递归最多接受十次变换。训练比较使用三个Qwen3.5 Base骨干、各8,428条轨迹,并在原始任务上评测。人工复核覆盖每个基准20对原始与缩放环境,共60条任务谱系和120个端点环境。
缩放成本只统计被接受子代的构造执行,不含未产出子代的分支、目标求解与评分,因此执行次数不能单独代表缩放开销。深度分析中,较高预算的汇总把大量已停止谱系的最终环境与少数继续的谱系合并,且深度与端点评测使用不同批次。训练比较未使用留出验证集,只评测最终检查点。人工复核未在所查样本中发现目标偏移、答案泄漏或评分绕过,但复核范围限于抽样。
