AutoDataBench 让智能体逐条交付训练任务:五个前沿智能体在 45 分钟内得分均不超过 20 分,难度校准而非模式覆盖成为瓶颈
该工作提出 AutoDataBench,把“智能体能否写出可被数据流水线逐条验收的训练任务”变成评测目标:给定一个原始基准任务和目标模型尝试它的记录,作者智能体须为同一套件写出一个新任务,评分由门控、目标模型通过率是否落在区间、以及对隐藏行为模式清单的覆盖三项相乘;在三个可执行智能体任务基准上,五个前沿智能体在默认 45 分钟预算下得分均不超过 100 分中的 20 分,把最强智能体的时间放宽到四倍后得分大幅提升而单个可用任务的成本几乎不变。