Recursa让基础模型系统自己改自己:法律基准留出任务全通过率从30.0%升到55.0%
核心概要
Recursa把基础模型系统在新领域中的适应拆成两步:先从领域材料自举出可导航的知识库,再让同一模型扮演求解者与学习者,通过并行子学习者的诊断、编辑与验证反复改写指令、技能和记忆。在Harvey LAB的Firm Knowledge法律基准上,以DeepSeek-V4.1-Flash为求解者时,留出测试任务的全通过率从30.0%升到55.0%;以Qwen3.8-Flash为求解者时从35.0%升到46.0%,全程没有更强模型或人类专家改写。
深度剖析
Recursa让基础模型系统在没有人类专家、也没有更强教师模型的情况下,靠自身任务经验改写自己的指令、技能和记忆,从而在新领域里提升表现。 此前的做法多只学习系统的一部分,例如指令、执行框架或工具,且往往依赖更强模型驱动学习;针对知识缺口的方法只研究领域语料,针对行为缺口的方法只从任务反馈学行动。 在Harvey LAB的Firm Knowledge基准上,留出测试任务的全通过率在DeepSeek-V4.1-Flash下从30.0%升到55.0%,在Qwen3.8-Flash下从35.0%升到46.0%。
系统先读领域材料,把发现整理成带来源链接、标注不确定性与适用范围的技能,再用材料生成练习题自测,形成初始知识库。 没有这一步时,每个任务都要从探索环境开始,多智能体系统中这种重复探索的开销会叠加。 在全部250个任务上,自举把交互轮次和输入token各减少约五分之一到四分之一,全通过率略有上升,平均标准通过率保持不变。
随后同一模型既当求解者也当学习者:顶层学习者按主题把150个训练任务切成子集,交给并行的子学习者各自诊断失败、编辑技能并验证,再把修订合并、反思子学习者的学习轨迹。 单学习者不切分任务、直接在全部训练任务上跑自改进循环,作为隔离多学习者效果的对照。 DeepSeek-V4.1-Flash下多学习者把训练全通过率从自举后的34.7%提到48.7%、测试从33.0%提到55.0%,单学习者测试为43.0%;Qwen3.8-Flash下多学习者训练从37.3%到47.3%、测试从34.0%到46.0%,单学习者训练降到30.0%、测试为37.0%。
启示与展望
演示范围是Harvey LAB的Firm Knowledge合成律所环境:46个虚构客户、15个业务领域的266个事项、9,288个文件,250个任务按150个训练与100个测试划分,评判由Qwen3.8-Max完成。当前只学习知识库中的指令、技能和记忆,执行框架与基础模型保持固定;把递归自改进扩展到模型权重和执行框架仍是进行中的工作。
作者指出,系统表现依赖领域语料的质量与可得性,需要大量算力,错误或有偏数据以及底层模型的缺陷会在学习过程中传播,学习效果取决于底层模型能力而这一点尚未研究,实验也只覆盖有限领域。作者还提到,Recursa会自主探索软件环境、执行程序并把观察到的信息留在记忆中,带来隐私与安全风险;实验在严格隔离的沙箱中进行,除用于模型推理与训练的受控通道外没有网络访问。
