给第一视角AI助手建一个可验证考场：人按指令动手，最强模型长程引导只到20%
核心概要
第一视角AI助手的评测长期依赖真人，交互数据昂贵而稀少，难以回答今天的多模态大模型能否在物理世界里真正帮到人。InteractiveWorld把这一环节搬进可验证的闭环环境：助手发出指令，由人类智能体观察场景、理解指令并独立行动，环境执行动作并更新双方看到的画面。在此之上构建的InteractiveBench包含六类共120个多轮任务，每个指令都影响结果并由基于状态的可验证奖励打分；12个前沿多模态大模型的表现显示它们仍远非可靠助手，其中Claude Fable 5.1在长程引导与规划任务上分别最高只达到20%和25%。
深度剖析
第一视角AI助手的评测有了一个可验证的闭环环境，助手不再直接操控机器人，而是向一个会自己看、自己判断、自己动手的人类智能体下达指令。 此前的测试通常需要真人参与，真实交互数据既昂贵又稀少，导致今天的大模型能否在物理世界真正帮到人这一问题一直没有答案。 该环境被描述为第一个用于人与AI助手闭环交互的可验证环境，与以机器人为中心的模拟器相区别。
闭环按三步运转：助手给出指令，人类智能体据此行动，环境执行动作并更新接下来看到的画面。 这套分工把助手的角色限定为引导者，人类智能体独立完成观察、理解与操作，从而复现真实协作中的指令—行动关系。 在此环境上构建的InteractiveBench包含六类共120个多轮任务，每个任务中助手实时引导，每条指令都影响最终结果。
任务结果由基于状态的可验证奖励打分，而不是依赖人工评判。 可验证奖励让多轮交互的成败可以被自动核对，与需要真人参与的传统测试方式形成对照。 12个前沿多模态大模型在该基准上接受测试，结果显示它们距离可靠助手仍有明显差距。
最强模型在长程任务上的得分暴露出当前助手的短板所在。 即便表现最好的Claude Fable 5.1，在长程引导与规划两类任务上也只分别达到最高20%和25%。 这一结果来自12个前沿多模态大模型在InteractiveBench六类任务上的实验。
启示与展望
已展示的范围是：在InteractiveWorld这一闭环环境中，由人类智能体执行动作，助手只负责引导，并用InteractiveBench的六类共120个多轮任务和基于状态的可验证奖励对12个前沿多模态大模型打分。适合关注第一视角助手与交互式多模态智能体评测的研究人员和工程师阅读。
材料把该环境称为第一个可验证的人机闭环交互环境，并称InteractiveBench是第一个面向第一视角AI助手的动态基准，这些首创表述来自该工作自身。最强模型在长程引导与规划上的得分分别最高为20%和25%，材料据此判断当前模型仍远非可靠助手。