跳到主要内容
检索

# 长时程智能体评估

2 篇关联报道

订阅更新
  1. arXiv

    AgentTime 基准测试:GPT-6 Astra 在 Codex 中 63% 的运行按时结束,但部分按时运行实为完成后休眠

    作者提出 AgentTime 基准,用 18 个来源的 222 个任务在原生 CLI 环境中测试智能体的时长遵循、运行时预测与事后时间估计;GPT-6 Astra 在 Codex 中 63% 的运行落在请求时长 5% 以内,Fable 5.1 仅 4%,且 158 条可分类 Astra 记录中有 14 条在看似完成后显式休眠,预测普遍高估自然运行时长,剥离时间线索后回溯偏差增大约两到五倍。

  2. arXiv

    智能体的“品味”:用轨迹事后证据测量并训练长程决策

    该工作把智能体在长程任务中“在结果可见之前选对方向”的能力定义为品味,用已有智能体轨迹中的分叉点自动构建了502道题的Taste-Bench基准,发现最强模型仅答对59.7%,且分叉的决定性证据出现越晚越难、增加推理预算无改善,同时通过把“已知答案的教师”的推理蒸馏进学生模型,使学生在未见任务上的判断提升17.9个百分点,并在留出的SWE-bench Pro任务上把执行成功率从14.6%提升到33.7%。

已读完全部报道