跳到主要内容
检索

# pass^k 指标

1 篇关联报道

订阅更新
  1. researchsquare.com

    智能体时间视野要打折扣:四次全对才算可靠,前沿模型的可信任务长度约为一半

    前沿AI智能体的“时间视野”通常按平均成功率计算,即智能体以50%概率完成、人类专家需耗时多久的任务。该分析改用METR公开的逐次运行记录,把同一任务重复四次全部成功的概率也拟合成随任务时长变化的曲线,得到“可靠性视野”。在50个模型与基准版本的组合中,可靠性视野都短于能力视野,几何平均比值约2.4;这一差距在2023年至2026年初的模型代际间没有显著收窄。

已读完全部报道