通用模型直接指挥机械臂:AMP1零样本在RoboLab-120达85.6%,领先VLA与WAM
机器人操作长期依赖在演示数据上训练的专用策略,如视觉-语言-动作模型(VLA)和世界-动作模型(WAM)。AMP1让通用AI模型留在控制回路中,通过代码直接指挥机械臂运动,在RoboLab-120上零样本取得85.6%成功率,而领先的VLA与WAM分别为49.2%和42.9%。在12项真实任务、3台机器人实例的108次试验中,它成功104次,且未使用演示或任务专用训练。
机器人操作长期依赖在演示数据上训练的专用策略,如视觉-语言-动作模型(VLA)和世界-动作模型(WAM)。AMP1让通用AI模型留在控制回路中,通过代码直接指挥机械臂运动,在RoboLab-120上零样本取得85.6%成功率,而领先的VLA与WAM分别为49.2%和42.9%。在12项真实任务、3台机器人实例的108次试验中,它成功104次,且未使用演示或任务专用训练。
视觉语言模型能读懂任务却常抓不稳物体:在RoboDojo上,同一模型去掉机械臂执行后成功率从22.5%升到76.2%,说明瓶颈在物理执行。Auriga把模型决策与机器人执行分开,由模型维护显式任务信念,所有动作经统一准入网关先预览轨迹、执行中校验阶段容差并在偏差时停机回报。冻结后的Auriga在42项任务上取得57.7%成功率、64.0分,排名第一,并在RoboCasa365上达到73.2%。
机器人策略不再把模型留在控制回路里。此前视觉-语言-动作模型把状态隐式压进权重,智能体框架把记忆放进模型上下文,动作如何得出无法完全查看。这里把机器人和环境状态写成代码变量,由代码从相机图像和本体感觉中测量并据此决定每一步,同一段程序跑遍一个任务的所有回合,在RoboDojo的42项双臂任务上成功率达到70.24%,比榜单最好方法高38.9个百分点。
该工作提出 RoboDawn,把机器人控制暴露为平移、旋转、夹爪三类离散语义命令,让参数冻结的 VLM 以闭环方式观察—推理—执行—再观察,并配合上下文学习示范;在 RoboTwin 2.0 C2R 上零样本成功率 53.2%、单条示范 73.6%,在 RoboDojo 上从 35.67% 提升到 47.17%,同一框架还零样本迁移到 Franka 真机完成取放与堆叠。
已读完全部报道