生产AI系统优化不再只看失败样本：CoCoEvolve检索全部演化历史，DABStep硬题准确率92.8%
核心概要
面向生产AI系统的演化优化不再只从搜索前沿挑一个候选、依据其失败做一次改写。CoCoEvolve让一个智能改写器从整段演化历史中挑选证据，并在提出改动前探测运行中的系统。在DABStep上，它的留出硬题准确率为92.8%，同一条件下Meta-Harness为78.4%、GEPA为30.4%；在data-eng-bench上把测试集解决率从59.1%提到77.4%，超过73.6%的最佳基线。
深度剖析
生产AI系统的自动优化不再只盯着搜索前沿的单个候选，而是把整段演化历史当作可用证据。 此前的做法是从搜索前沿选出一个候选，只根据它的失败做一次大模型改写；当系统内部存在复杂而隐蔽的交互时，孤立失败提供的信息很少，优化容易停滞。 在DABStep上，同一条件下留出硬题准确率为92.8%，Meta-Harness为78.4%，GEPA为30.4%。
改写动作发生前，优化器会先探测正在运行的系统，再验证并提交改动。 这一机制被称为元反思，承担改写的是智能体改写器Cortex Code，它从全部演化历史中挑选性检索证据。 该方法被用于优化三类生产AI系统：数据智能体、由大模型驱动的数据流水线，以及数据工程工作流；在六个大模型数据流水线负载上超过所有被评估基线，在data-eng-bench上把测试集解决率从59.1%提升到77.4%，高于73.6%的最佳基线。
在既有数学与系统基准上，它仍与专用优化器保持竞争力。 在HotpotQA上，它的准确率比GEPA高11个百分点。 匹配的消融实验确认CoCoEvolve的每个组件都对上述增益有贡献。
启示与展望
报道覆盖的是摘要层面的信息，未涉及完整论文的实验细节。已展示的范围是三类生产AI系统：数据智能体、大模型驱动的数据流水线，以及数据工程工作流；对照包括DABStep、六个数据流水线负载、data-eng-bench与HotpotQA，并配有匹配消融。适合关注大模型系统自动优化与数据工程流水线的研究人员和工程师阅读。
摘要称在既有数学与系统基准上与专用优化器保持竞争力，未给出这些基准上的具体数值。元反思的增益由匹配消融支持，但摘要未说明消融的规模与设置。