通用模型直接指挥机械臂:AMP1零样本在RoboLab-120达85.6%,领先VLA与WAM
核心概要
机器人操作长期依赖在演示数据上训练的专用策略,如视觉-语言-动作模型(VLA)和世界-动作模型(WAM)。AMP1让通用AI模型留在控制回路中,通过代码直接指挥机械臂运动,在RoboLab-120上零样本取得85.6%成功率,而领先的VLA与WAM分别为49.2%和42.9%。在12项真实任务、3台机器人实例的108次试验中,它成功104次,且未使用演示或任务专用训练。
深度剖析
通用AI模型可以直接指挥机械臂,并在任务推进中不断修正动作,这条路线在仿真基准和真实硬件上都超过了专门为机器人控制训练的VLA与WAM策略。 此前的通用模型多用于技能编排或离线程序合成:前者受限于已有底层技能,后者在部署前写好程序、执行中不再重新考虑整体策略。 在RoboLab-120上,AMP1搭配Gemini 4 Argon零样本成功率为85.6%,领先的VLA和WAM条目分别为49.2%和42.9%;真实平台上108次试验成功104次,而FLUX 3 Action为49次、另一VLA基线为30次。
AMP1是一套参考执行框架,向模型提供视觉观测、代码执行和机械臂运动的直接控制,同一套框架不加改动地用于单臂、双臂和移动操作。 框架本身不提供抓取、推动或放置技能,模型在每个回合里自行编写几何与控制代码,从选择抓取点到测量容器都由它决定。 在RoboLab-120、LIBERO-PRO、robosuite和BEHAVIOR-1K四个仿真基准上使用同一框架,仅更换机器人描述与相机配置;真实试验使用7自由度Franka Research 3机械臂、Robotiq 2F-85夹爪和三相机系统。
启示与展望
已展示的范围是四个仿真基准上的零样本评测,以及一台7自由度Franka Research 3配Robotiq 2F-85夹爪和三相机系统上的12项真实任务、3台实例、每任务9次试验;框架在单臂、双臂和移动操作仿真中保持不变,真实实验只涉及单臂平台。
作者明确指出AMP1尚不实用:机器人每个回合有大量时间在等待模型推理,且模型无法在轨迹执行过程中重新考虑,评测主要针对准静态场景,移动目标或滑落物体可能需要在模型下一次响应前作出反应。
