视觉助手评测搬进闭环仿真：最强模型Gemini 4 Argon限时任务成功率仅53.4%
核心概要
Salesforce AI Research 发布 Interactive Visual Gym（IVG），把视觉 AI 助手的评测从被动观看预录视频改成闭环仿真：助手看用户的实时画面并给出语音提示，模拟用户会据此改变动作。配套的 IVG-Bench 覆盖三个操作环境中的 315 个复杂场景，评测 14 个视觉助手，其中最强的 Gemini 4 Argon 在三环境平均的限时任务成功率只有 53.4%。在早期概念验证中，用该仿真器训练的开源模型 Gwen 3.5-4B 在训练中从未见过的新任务上成功率从 33.3% 升到 42.2%。
深度剖析
视觉 AI 助手的评测对象从一段预录视频里的文字回答，变成助手与模拟用户之间的实时互动：助手分析用户画面并给出语音干预，模拟用户随即调整动作，数字孪生状态随之改变。 此前的评测框架大多依赖被动的预录视频片段，把助手的文字输出对照静态答案评分，因果在静态测试中被完全解耦——助手发出警告，视频里的人仍照旧犯错。 IVG-Bench 在三个操作环境中设置 315 个复杂场景，评测 14 个领先视觉助手；最强的 Gemini 4 Argon 在三环境平均的限时任务成功率只有 53.4%。
仿真环境不只打分，还能用来训练：助手被激励优先完成任务并防止错误，在训练中从未见过的新任务上成功率随之提高。 早期概念验证中，开源模型 Gwen 3.5-4B 的成功率从 33.3% 升到 42.2%，并且更能在错误发生前主动介入。 这一提升是在训练中从未出现过的全新任务上测得的，属于早期概念验证，而非完整训练流程的结论。
IVG 与常规机器人仿真器的区别在于交互层级：它在人类自然沟通的高层语义层运行，助手被要求“带着食材移到备餐台”，而不是计算关节速度或角度坐标。 标准机器人仿真器要求微观物理控制，IVG 则把操作指令放在语义层，并可由测试框架在精确的工作流节点安排偏离计划的干扰。 干扰包括操作失误、任务中途改计划、澄清提问和记忆检查，用来压力测试助手在压力下发现异常并纠正用户的能力。
启示与展望
已展示的范围是三个操作环境中的 315 个复杂场景，以及烹饪任务中真人参与者的评分对照；材料面向准备部署视觉语言助手的企业负责人。材料未提出下一步实验计划。
材料把 Gwen 3.5-4B 的成功率提升定位为早期概念验证；部分开源权重模型在任务后段的回答在事实依据、情境相关性和可执行建议上变差，且任务成功率高不一定意味着交互质量好。