跳到主要内容
检索

# InteractiveBench

1 篇关联报道

订阅更新
  1. arXiv

    给第一视角AI助手建一个可验证考场:人按指令动手,最强模型长程引导只到20%

    第一视角AI助手的评测长期依赖真人,交互数据昂贵而稀少,难以回答今天的多模态大模型能否在物理世界里真正帮到人。InteractiveWorld把这一环节搬进可验证的闭环环境:助手发出指令,由人类智能体观察场景、理解指令并独立行动,环境执行动作并更新双方看到的画面。在此之上构建的InteractiveBench包含六类共120个多轮任务,每个指令都影响结果并由基于状态的可验证奖励打分;12个前沿多模态大模型的表现显示它们仍远非可靠助手,其中Claude Fable 5.1在长程引导与规划任务上分别最高只达到20%和25%。

已读完全部报道