跳到主要内容
返回时间线
arXiv来源发表:

把正则化装进智能体外壳的自我进化:RRSI 如何让递归自我改进真正迁移

核心概要

该工作提出 RRSI,在保持智能体外壳(提示、控制流、工具、记忆与上下文管理)完全可编辑的前提下,对候选编辑的提出与筛选两端施加正则化约束,在八个覆盖编码、智能体工作区与工程设计任务的基准上,进化集最多提升 14.1 分、五个分布外基准最多提升 4.7 分,且策略 token 消耗比无正则化进化少 30%。

AI-generated editorial illustration: RRSI: Regularized Recursive Self-Improvement of Agent Harnesses

深度剖析

把“外壳进化”的过拟合识别为递归自我改进的核心问题,并指出其来源是基准特定拟合、追逐评测噪声与复杂度累积三类耦合行为。 以往的外壳进化方法以进化集分数为唯一驱动力,本文把泛化问题显式提出来,并把它定义为“进化出的外壳迁移到任务描述、工具接口或验证器不同的未见基准”。 论文以问题定义与机制分析为主,并引用近期关于进化与留出表现存在差距、以及增量归因区分可复用机制与任务拟合的研究作为支撑。

提出 RRSI,在提出端用退火编辑预算、证据感知的信用分配与结构化探索约束搜索,在筛选端用泄漏审查、噪声调整下限与复杂度感知接受规则约束保留。 与限制“可以改什么”的做法不同,RRSI 保持编辑空间开放,转而正则化搜索轨迹本身;作者把编辑预算类比为基数约束、结构剪枝类比为 Lasso 式稀疏化、复杂度感知接受类比为 Ridge 式收缩,并说明这是角色类比而非求解相应范数惩罚目标。 方法在正文与附录中给出轮级形式化、原子编辑表示、编辑历史与组件级摘要、噪声下限与接受条件,并给出各实例的超参数取值表。

在八个基准、三个领域上,RRSI 在进化集与全部留出划分上均有提升,且没有留出划分出现回退。 进化集增益为 Terminal-Bench 2.1 的 6.0 分、EngDesign 的 4.9 分、Harvey LAB 的 1.1 分;迁移方面 SWE-bench Verified 提升 1.8 分、Harvey LAB 同分布留出提升 2.3 分、三个分布外智能体基准提升 3.5 至 4.7 分(7.2% 至 13.1%)、Frontier-Eng 提升 4.3 Medal 分(相对提升 24.3%)。 每个数字都与未进化基线在同一窗口内测量,使用相同工具环境、相同评判者与相同试验次数;Harvey LAB 的 160 个任务一次性划分为 120 个进化任务与 40 个留出任务并固定。

正则化带来的是迁移与成本的双重收益:RRSI 是所比较的进化外壳中最轻的一个,且消融显示去掉任一组正则化都会抬高进化集分数、降低迁移。 去掉接受端约束后进化集从 90.5 升到 91.5,而分布外平均从 43.6 降到 41.0,token 成本上升约一半;去掉提出端约束在进化集只损失 0.2 分但分布外损失 1.7 分;两组都去掉时进化集达到最高的 92.8,分布外平均 40.3,接近未进化外壳,且每试验 3.80 百万 token,而 RRSI 为 2.42 百万。 消融在智能体工作区实例上进行,各臂共享基线外壳、策略、进化划分、轮数与候选预算;成本以每试验策略 token 与轨迹步数衡量,RRSI 为 26.3 步,对比方法为 27.3 至 34.6 步。

启示与展望

该结果面向骨干模型冻结、以外壳为优化变量的设定,适用于编码、智能体工作区与工程设计三类任务,并已在两个策略家族与一个未参与搜索的较小骨干上验证迁移;对希望自动化外壳工程、又需要控制推理成本的团队,它提供了可复用的约束式搜索配方。

作者在局限中说明,研究不涉及进化过程中更新模型权重的设定,方法仍依赖有限的进化集与若干正则化超参数,效果可能取决于反馈信号质量与搜索预算;更广泛地推广到差异很大的智能体架构、工具生态与更长周期的自我改进过程仍需验证。此外,本次读取为全文,但图表与附录中的部分数值以文本形式呈现,若需精确复现实验细节仍应查阅原文与项目网站上的逐轮记录。

来源