跳到主要内容
返回时间线
arXiv来源发表:

生产AI系统优化不再只看失败样本:CoCoEvolve检索整段进化史,DABStep硬题准确率92.8%

导语

面向生产AI系统的进化优化器CoCoEvolve改用元反思:变异前从整段进化史取证据并探测在线系统,在DABStep硬题上取得92.8%留出准确率,高于Meta-Harness的78.4%和GEPA的30.4%。

AI-generated editorial illustration: Meta-Reflective Evolution Effectively Improves Production AI Systems

正文

生产AI系统的自动优化不再只盯着搜索前沿上的单个候选,而是把整段进化史和在线系统的实时探测一起纳入变异决策。 此前的优化方法从搜索前沿挑一个候选,只依据它的失败做一次大模型变异;在孤立失败难以反映复杂隐藏交互的生产系统上,这种做法容易停滞。 在DABStep上,CoCoEvolve以92.8%的留出硬题准确率登顶公开排行榜,同等条件下Meta-Harness为78.4%,GEPA为30.4%。

变异由一个智能体完成:它先有选择地取回历史证据、再探测运行中的系统,验证之后才提出改动。 这套机制被称为元反思,承担变异的是名为Cortex Code的智能体变异器,它不再只读一次失败就动手。 匹配消融显示CoCoEvolve的每个组件都对增益有贡献;在六个大模型数据管道负载上它超过所有被评估基线,在data-eng-bench上把测试集解决率从59.1%提到77.4%,高于最好的基线73.6%。

接下来

报道依据的是摘要级材料,覆盖三类生产AI系统:数据智能体、大模型驱动的数据管道和数据工程工作流。结果包括DABStep公开排行榜登顶、六个数据管道负载上超过所有被评估基线、data-eng-bench测试集解决率提升,以及在HotpotQA上比GEPA高11个百分点。摘要未提出下一步实验或部署建议。

摘要称在既有数学与系统基准上与专用优化器保持竞争力,未给出这些基准上的具体数值。匹配消融确认各组件有贡献,但摘要未列出消融的规模与设置。上述限定均来自摘要级材料。

来源