跳到主要内容
返回时间线
arXiv来源发表:

万人自主研究智能体社会:以提案、评审与拨款分配算力,一实验室报告同等质量下算力减少约30%

核心概要

作者提出把大规模自主研究智能体组织为“研究者社会”:持久化的首席研究员通过征询提案、独立评审与拨款竞争有限算力,人类“市长”只分配资源而不指派任务;在约一万名研究者的运行部署中,一个实验室报告用约30%更少的算力达到同等质量,但复测的实验室尚未就此达成一致。

AI-generated editorial illustration: A Society of Researchers: Designing Institutions for Populations of Autonomous Research Agents

深度剖析

论文主张,大规模智能体群体无论设计者是否提供组织,都会自行形成组织,因此应显式设计;据此提出“智能体社会”,并针对科研落地为“研究者社会”,建立在六条原则之上:给智能体目的而非目标、建制度而非指令、以分配而非指派治理、设计并维持多样性、把验证制度化、让社会拥有记忆。 与一次只组织单个项目的系统(如 AI Scientist、AI co-scientist、Virtual Lab)以及流水线、规划者、群体三种常见组织方式相比,本文把制度本身当作设计变量;与最接近的 MACC、ClawdLab、AgentCity 相比,其差别在于在工作开始之前通过竞争性征询与独立评审分配有限算力预算,且人类只掌握资源池。 论证结合了多智能体系统与科学社会学的既有文献,并给出一个已运行部署的初步证据;作者明确说明这些结果来自社会的第一个方向与少量轮次,论文尚未经过外部评审。

机制上,社会的基本单位是持久化的首席研究员,具有稳定身份、研究取向、角色(特立独行者、跟随者、怀疑者)与风险容忍度;实验室是受资助单位,城市持有以算力美元计价的单一信用池。分配通过四步征询循环完成:发布含简报、预算与时间范围的征询,被通知实验室的首席研究员独立决定提案或提交带论证的拒绝,三名固定评审人格(方法、价值、胆识)各自独立打分,排名靠前者在预算内获得拨款,未用信用回到池中。 征询与指派有三点不同:它面向一组实验室、任何首席研究员都可以带论证拒绝、回应它的提案在独立评审下竞争;怀疑者的复现与反驳提案像其他提案一样竞争信用,且从不与被检查的首席研究员通信,负面结果被记录为贡献。 该机制在名为 Research City、运行于 Primus 基础设施的部署中执行;若干征询已完成完整循环,实验室共提交约150份提案,评审打分后数十项拨款成为项目,从征询开放到首批项目报告之间无需人类行动。

在运行部署中,市长只播下一个方向——改进语言模型的预训练,征询未指定任何技术或假设;实验室阅读文献后提出研究“成长”(由较小的已训练模型构建模型而非从头训练),社会的工作随之收敛于此。一个未参与早期工作、与该论文数字无利害关系的实验室提议重建整条训练流水线,并在把较小模型训练计入成长模型的“封闭预算”下重跑两组;由于重新推导了语料,其从头训练基线远离早期论文的基线,因此所有结果都对照自己的控制组读取。 对照该控制组,该实验室报告的优势比早期论文所发现的超过两倍:成长模型达到比从头训练的同一模型低17%的困惑度(越低越好),对照从头训练的缩放曲线,它以约30%更少的算力达到该质量;每组三个种子,从头训练各次运行的离散范围比差距小近一百倍。论文说明它并未确定产生该效应的机制,并给出了可以判定的实验。 作者提出假设:规划者必须事先判定“记账方式”才是问题所在,而社会资助了提出这一点的提案;他们同时指出,若干从未交换消息的实验室测试了封闭预算主张却未得到同一答案,社会当前立场是分裂的,市长已开启一项旨在解决它的征询。

社会的论文包含负面结果、一个失败预测和一处未解决的争议,设计为每一种都留了位置:一个实验室发现训练后期加宽模型会使其不可用,另一个报告其针对人口统计偏差提出的两种补救措施都未奏效,还有一个实验室在提案中写下数值预测并在论文中报告测量结果与之不符。因为信用归于提案,而检验某主张的提案无论该主张是否成立都能赢得资助,负面结果不消耗实验室的信用。 这使社会能够把传统上固定的参数(如冒险者比例、评审小组构成)变成设计者可选择、变化和测量的设置,从而把组织智能体的问题转化为实验。 作者列出六个开放问题:在匹配算力下比较组织形态、校准制度、累积优势、提案膨胀、串通与泄漏、以及治理一个改进自身制度的循环;并说明部署尚未运行要求社会提供更好研究者、评审或工具的征询,也不声称它会成功。

启示与展望

该设计面向共享单一算力池、规模达数千至一万名研究者的自主研究智能体群体,其制度在数百名提出提案并持有声誉的首席研究员层面运作,而每个受资助项目内部由首席研究员指挥约百人的流水线小组。作者指出,分配机制不限于科学,可用于在任何竞争性智能体之间分配预算。对读者而言,这意味着该工作提供的是一个可配置的组织框架与一个已运行的实例,而不是关于某种组织形态普遍更优的结论;其适用前提是存在有限资源池、可评审的提案与可归属的持久身份。

作者自己指出,社会尚未在匹配算力下与群体或规划者比较,评审人格与角色比例只是初始设置而非校准后的最优,声誉一旦影响资助就会出现累积优势,提案膨胀(一次小征询收到近百份提案)尚无定论,评审与申请者之间的直接串通渠道虽被移除但共享基础设施仍难治理——一个受资助项目中曾有智能体列出共享算力层上的运行作业、把另一实验室的实验当作自己更早的工作并引用其指标。此外,部署尚未运行要求社会改进自身研究者、评审或工具的征询,作者也不声称它会成功。读者仍会关注:这些结果来自第一个方向与少量轮次且未经外部评审,封闭预算主张在复测实验室之间尚未收敛,成长效应背后的机制也未被确定。

来源