arXiv来源发表:
让智能体自己试数据配方:数学与代码筛选策略在固定训练下最高涨13.34%
核心概要
智能体用实验反馈迭代数据工程策略,在数学与代码数据筛选、数学奖励设计和数学课程学习四类任务上,选出的策略在固定训练条件下于AIME25 Pass@32最高比通用基线绝对提升13.34%。
深度剖析
数据工程策略可以由智能体在实验中反复修改和组合,而不是由人一次性设定。 此前这类策略通常由人工按预设方案确定,缺少用累积实验反馈逐步改进的机制。 在数学与代码数据筛选、数学奖励设计、数学课程学习四类任务上,按环内得分选出的策略在固定训练条件下于AIME25 Pass@32取得最高13.34%的绝对提升。
智能体依据累积发现决定继续、修改还是合并研究方向。 该框架名为智能体数据工程(ADE),让智能体在固定的训练与评测协议下使用实验反馈。 策略由环内得分挑选,再在留出基准上评测;四个留出基准的平均绝对提升为5.85%。
环内得分随实验推进而上升,但留出表现并不总跟着上升。 留出轨迹显示,后期环内增益并不总能转化为更好的泛化。 对研究组织方式与反馈获取方式的比较,支持把证据分析与累积发现结合起来。
启示与展望
报道依据的是摘要级材料,覆盖四类任务:数学与代码数据选择、数学奖励设计、数学课程学习,均在固定训练与评测协议下进行,策略由环内得分选出并在留出基准上评测。适合关注数据工程与AI4AI实验流程的研究人员和工程师阅读。材料未提出下一步实验计划。
材料为摘要,未给出各任务的完整设置与统计细节。已报告的一点是:环内得分随实验推进而提高,但留出轨迹显示后期环内增益并不总能改善泛化。对研究组织与反馈获取方式的比较支持把证据分析与累积发现结合,这一结论限于所报告的任务与协议。
