跳到主要内容
返回时间线
arXiv来源发表:

智能体不再只换模型:改运行时外壳,GLM-5在办公任务上单步涨11.5分

核心概要

智能体的表现不只取决于底层模型,也取决于承载它的运行时外壳,即提示、记忆、技能、工具与编排。Harness2把外壳改进做成两层递归:任务层用“提议—探测—组合”的对比步骤,在没有标准答案的情况下比较改动前后的执行行为;改进层再把这一过程沉淀为经验库,指导后续任务。在WorkBuddy-Bench、JobBench和Harvey法律智能体基准上,单步改进让GLM-5与Gemini 3.5 Flash在四种模型—外壳配置下全部提升,最高分别达11.5分、4.5分和11.8个百分点。

Source-provided article image: Harness2: Recursive Agent Harnessing for an Open World
Figure 1 · arXiv

深度剖析

智能体的运行时外壳可以在部署任务流上被自动改写,而不必只依赖事先在固定训练任务上选好的配置。 此前的做法要么在固定训练任务、单元测试或验证反馈上离线挑选外壳,要么只针对当前任务临时修改,任务一换,改动的价值就难以延续。 在WorkBuddy-Bench、JobBench和Harvey法律智能体基准三个专业基准、四种模型—外壳配置上,单步改进对GLM-5和Gemini 3.5 Flash均高于各自的基础外壳,最高提升分别为11.5分、4.5分和11.8个百分点。

改进过程本身被当作学习对象:每次任务结束后,被采纳的外壳连同其改进经验一起进入经验库,供后续任务参考。 此前的方法通常只把成功的执行外壳带到下一批任务,或者只改进当前任务的外壳,而不更新“如何改进外壳”这一层。 消融显示,去掉经验库会让WorkBuddy-Bench与JobBench分别下降3.1分和1.8分;去掉按范围划分的候选编辑损失2.9分和3.7分,去掉组合步骤损失1.6分和1.9分。

任务层递归可以并行或串行地扩大探索预算,在单步之外继续加分。 单步改进已经高于基础外壳,但探索预算增加后是否继续有效,需要与只增加测试时算力的基线区分开。 并行任务层递归在单步之上再增加2.9至3.9分(WorkBuddy-Bench)、3.0至4.2分(JobBench)和2.6至6.7个百分点(LAB的Partial通过率)。

启示与展望

报道覆盖的是三个专业基准上的评测:WorkBuddy-Bench的办公类交付物、JobBench的端到端职业任务,以及Harvey法律智能体基准按标准逐条通过率报告的Partial指标。执行模型为冻结的Gemini 3.5 Flash与GLM-5,初始外壳为OpenCode与Codex的现成配置,默认外壳编辑器为Claude Opus 4.8。经验库在每个基准的任务流开始时为空,并在每个任务后更新;已完成的任务不会被重放。

递归改进需要额外的执行与编辑会话,增加递归预算就增加推理成本,并行只能降低时延而不能消除这部分计算。没有标准答案时,改进依赖行为对比与模型判断,这些信号对执行随机性和模型共有偏差敏感,不保证正确性,也不保证被采纳的改动能迁移到另一个任务。失败分析还列出选择环节可能偏好较弱候选、错误前提会在候选间传播,以及结果波动与缺失评审判定使归因困难。