跳到主要内容
返回时间线
arXiv来源发表:

长时程终端智能体测试台扩到77项任务:只看最终状态会丢掉中间进度

核心概要

长时程终端智能体测试台 LHTB 2.0 把评测时长从90分钟延到三小时,并在30项重建任务上显示:只看最终状态通过与否平均得0.221,而按进度阶梯打分平均得0.653。

Source-provided article image: Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress
arXiv

深度剖析

长时程终端智能体测试台 LHTB 2.0 把任务集扩到77项,覆盖13个领域和八种任务类型,并把单次评测时长从90分钟延长到三小时,每30分钟记录一次验证器检查点。 此前的 Long-Horizon-Terminal-Bench 有46项任务,评测时长上限为90分钟,只能看最终状态是否通过。 2.0 保留原有46项任务,修正任务与评测基础设施缺陷并扩展其中31项,新增任务由系统化的重建任务流水线生成。

评测不再只给通过或不通过,而是用密集进度阶梯给部分进展打分,同时避免智能体记住公开输出。 只做结果判定时,中间步骤做对多少不会被计入分数。 在30项重建任务上,二元验证器得分平均0.221,密集阶梯得分平均0.653。

评测覆盖15个前沿模型的1,145次模型-任务运行,GPT-6-astra 以密集平均奖励0.69领先,GPT-5.6-sol 为0.67。 密集平均奖励之外,还统计达到 R 至少0.95的任务数,用于区分稳定完成与偶发通过。 GPT-6-astra 有37项任务达到该阈值,GPT-5.6-sol 有32项。

启示与展望

这则报道依据的是摘要级材料,未覆盖完整论文。已展示的范围是:LHTB 2.0 在保留46项原任务的基础上修正缺陷并扩展31项,共77项任务、13个领域、八种任务类型,评测时长三小时、每30分钟一个验证器检查点,并在15个前沿模型的1,145次运行上给出密集平均奖励与阈值任务数。适合关注智能体长时程执行评测的研究人员与工程师阅读。

摘要未说明重建任务流水线中参数化参考实现的具体形式,也未给出各领域、各任务类型上的分项结果。密集阶梯得分与二元得分之间的差距只在30项重建任务上报告,其他任务类型是否呈现同样差距,材料没有交代。