# AutoDataBench 基准

该工作提出 AutoDataBench，一个在固定训练流程与资源预算下隔离“数据智能”的受控测试台，覆盖工具调用数据诊断修复、检索数据组织与知识注入三类任务，评测七个前沿大模型在迭代实验中的数据决策能力，并发现智能体整理的数据在工具调用与检索上接近专家参考、但分布内高分不保证分布外迁移，同时把优化轨迹复用为中期训练数据可提升下游编码表现。

该工作提出 AutoDataBench，一个在固定训练流程与资源预算下隔离“数据智能”的受控测试台，覆盖工具调用数据诊断修复、检索数据组织与知识注入三类任务，评测七个前沿大模型在迭代实验中的数据决策能力，并发现智能体整理的数据在工具调用与检索上接近专家参考、但分布内高分不保证分布外迁移，同时把优化轨迹复用为中期训练数据可提升下游编码表现。

该工作提出 AutoDataBench，把“智能体能否写出可被数据流水线逐条验收的训练任务”变成评测目标：给定一个原始基准任务和目标模型尝试它的记录，作者智能体须为同一套件写出一个新任务，评分由门控、目标模型通过率是否落在区间、以及对隐藏行为模式清单的覆盖三项相乘；在三个可执行智能体任务基准上，五个前沿智能体在默认 45 分钟预算下得分均不超过 100 分中的 20 分，把最强智能体的时间放宽到四倍后得分大幅提升而单个可用任务的成本几乎不变。

该工作提出 AutoDataBench，把“智能体能否写出可被数据流水线逐条验收的训练任务”变成评测目标：给定一个原始基准任务和目标模型尝试它的记录，作者智能体须为同一套件写出一个新任务，评分由门控、目标模型通过率是否落在区间、以及对隐藏行为模式清单的覆盖三项相乘；在三个可执行智能体任务基准上，五个前沿智能体在默认 45 分钟预算下得分均不超过 100 分中的 20 分，把最强智能体的时间放宽到四倍后得分大幅提升而单个可用任务的成本几乎不变。