跳到主要内容
返回时间线
Blog来源发表:

模型自己当评委容易越评越偏:让它带一支虚拟小队,两轮后每输出词元得分升到基线的1.2至1.6倍

导语

一个共享模型用虚拟子代理小队解题、搜索更优的多代理工作流并自行挑选,再把最佳小队的执行轨迹蒸馏回自身,两轮后每输出词元得分达到基线的1.2至1.6倍。

Source-provided article image: Recursive Self-Improvement through Collective Intelligence
sakana.ai

正文

模型不再只靠自己一个人解题和打分,而是先组出一支虚拟子代理小队,让小队去完成任务,再从这些执行里学习。 此前的自监督循环里,模型既是优化者又是评估者,处在同质回路中,容易把自己的盲点当成正确而反复强化。 在一个27B开放权重模型上跑了两轮,任务为合成的开放式研究任务,第二轮之后每输出词元得分达到基线的1.2至1.6倍,覆盖四个研究基准。

做法是让同一个共享模型扮演多个虚拟子代理,先搜索出更好的多代理工作流,再用自己的判断挑出最好的那套。 多代理自监督(MASS)把挑选出的最佳小队的执行轨迹作为训练数据,把整支小队的集体经验蒸馏回共享模型。 训练数据只取自被优化者的解题数据,优化者和评估者的能力却都随之提升,说明角色能力可以在这个循环里泛化。

接下来

这项工作展示的范围是一个27B开放权重模型、两轮循环、合成的开放式研究任务,以及四个研究基准上的每输出词元得分。它面向关心递归自我改进与多代理训练的研究人员和工程师,讨论的是同质回路中自监督能否带来有效提升。作者提出社区需要仔细研究同质递归自我改进以支持AI安全,这是材料中明确给出的下一步方向。

作者指出,当模型同时是自己的评估者时,共享盲点可能让错误被当作进展接受,并通过训练被强化。他们据此认为,要让AI安全地超越人类专长,需要理解这类失败,并保留检测和干预的有效手段。这些是作者提出的开放问题,材料没有给出已经解决它们的证据。

来源