CLEAR把论文先变成可核对的执行规格:PaperBench均分29.87,单篇成本7.91美元
核心概要
CLEAR在论文与可执行代码之间加入一层结构化执行规格,把研究文档先转成可人工核对的实现单元、依赖、接口与评测流程,再据此生成和局部修复代码。在PaperBench的20项任务上,CLEAR平均得分29.87、单篇平均成本7.91美元;与AiScientist相比,成本降低35.16%,得分少3.86分。在MLE-Bench Lite上,CLEAR的22项任务全部形成有效提交,77.27%的任务获得任意奖牌。
深度剖析
CLEAR把机器学习研究工程拆成两件事:先确定要实现什么,再决定怎么实现。研究文档不再直接当作代码生成的提示,而是先被转成一份可人工检查的执行规格,后续规划、编码和修复都围绕这份规格进行。 此前的智能体系统把研究解读与代码生成、执行紧耦合在同一个循环里,文档中的隐含假设在生成过程中被隐式补齐,早期理解偏差会写进下游代码,出错后往往靠大段重新生成来恢复。 在PaperBench的20项任务上,CLEAR平均得分29.87、单篇平均成本7.91美元;AiScientist平均得分33.73、单篇成本12.20美元,CLEAR成本低35.16%,得分少3.86分。两套系统使用的骨干模型不同,CLEAR用Claude-Opus 4.6与Claude-Sonnet 4.6,AiScientist用Gemini-3-Flash与GLM-5。
这套流程分三步走:先把文档解析成规格,再按规格分块生成代码,最后在执行中定位失败并只修受影响的部分。 规格由机器可读的结构化条目和一段给人看的方法摘要组成,前者记录算法、输入输出、依赖、参数、接口、评测指标与提交约束,后者作为人工检查界面。 生成阶段由规划模型把工作拆成规格限定的子任务,并按任务复杂度动态决定低成本编码模型的数量;执行阶段的生命周期控制层跟踪规格、生成、执行、失败与修复状态,在PaperBench上CLEAR平均每任务消耗约56.4万token,去掉规格层后升至约84.2万token。
规格层的作用在消融中可以直接看到:去掉文档到规格的解析后,效果和成本同时变差。 去掉规格的变体让规划模型直接读原始文档,PaperBench平均得分下降19.18%,平均成本上升27.43%;在MLE-Bench Lite上,有效提交、高于中位数和任意奖牌三项分别下降9.09%、10.53%和17.64%。 把规划与编码模型统一换成GLM-5的同构配置保留规格流程,PaperBench得分比完整CLEAR低11.59%,平均成本高51.07%,说明Opus与Sonnet的分工配置在性能与成本之间更划算。
启示与展望
评测覆盖PaperBench的20项论文复现任务与MLE-Bench Lite的22项竞赛任务,每个任务分配一块Nvidia A800 80GB GPU和24小时预算,PaperBench使用GPT-5.4作为评判模型。实验声明未使用人工审阅或修改系统生成的文档,因此报告的是无人工干预下的表现。
CLEAR在PaperBench不同任务上的表现差异明显,在adaptive-pruning和robust-clip等任务上仍有较大差距,效果依赖具体任务。跨模型token计数因模型家族与分词器不同,只能作为系统层面的用量比较,而非与模型无关的计算成本度量。
