多智能体系统不再一套流程打天下:OOPMAS按单条查询生成智能体与工作流,混合任务准确率89.6%
核心概要
多智能体系统的自动设计此前多在任务层面进行,为整个基准优化一套固定工作流并统一套用到所有查询。OOPMAS把设计粒度降到单条查询:冻结的大模型作为元智能体,先按查询生成带角色、工具和持久状态的对象式智能体,再生成可执行的主函数工作流,并用动态技能库从执行反馈中积累结构化经验、无需梯度更新。在混合代码、数学与问答的基准上,OOPMAS取得89.6%总体准确率,比最强基线ADAS高18.1个百分点。
深度剖析
多智能体系统的自动生成从任务级降到查询级:每条查询各自得到一套智能体集合和一套协调工作流,而不是整个基准共用一套固定流程。 此前的自动设计方法为每个基准优化单一工作流并统一应用于该基准内的所有查询,其隐含假设是同一任务内存在对所有查询都最优的固定结构。 在混合代码、数学与问答的基准上,OOPMAS总体准确率为89.6%,最强基线ADAS为71.5%,绝对差距18.1个百分点;在竞赛级难度的Hard Mixed上,OOPMAS为90.8%,ADAS为72.3%。
智能体本身也随查询动态合成,而不只是从固定智能体池中挑选并重排工作流。 此前的查询级方法虽然为每条查询生成工作流,但智能体取自预先固定的集合,工作流受限于这些智能体的表达能力。 元智能体先按任务分布一次性生成共享智能体池,再对每条查询做覆盖检查,缺少所需能力时补充专家智能体并合并为查询专用集合。
工作流以对象式智能体类之上的可执行主函数表示,并通过动态技能库在多轮优化中改进,全程不做梯度更新、蒸馏或微调。 技能库保存的是结构化的失败与修复记录,作为元智能体的上下文优化记忆,而不是可调用的可执行代码库。 每轮结束后把结果分为工作流崩溃、输出错误和成功三类,对前两类给出根因、修复摘要与修复理由并重新执行;技能库按轮次得分轨迹、按错误类型的崩溃模式、成功的根因修复对和失败的修复尝试四部分组织。
启示与展望
评估覆盖两个基准:由HumanEval、MBPP、MATH、GSM8K、HotpotQA、DROP构成的混合基准,其样本取自验证集;以及由AIME 2025/2026、LiveCodeBench、CodeContests、GPQA Diamond构成的竞赛级Hard Mixed基准。默认以GPT-5同时作为元智能体和执行模型。
OOPMAS依赖强元智能体:在GPT-5-nano上,AFlow的固定MCTS工作流得分高于OOPMAS,说明骨干较弱时在线合成智能体代码不够可靠。技能库目前只在单次优化运行内改进工作流,尚不跨部署、领域或后续查询流持久化;按查询生成也显著提高推理成本,难题需要多次修复尝试。两个基准仍是基准化评估,更广的部署可能带来工具使用、长上下文、安全、隐私和分布偏移等未完全覆盖的挑战。
