机械臂抓取差几毫米,Auriga把规划与执行之间的差距补回68.3%
核心概要
视觉语言模型能读懂任务却常抓不稳物体:在RoboDojo上,同一模型去掉机械臂执行后成功率从22.5%升到76.2%,说明瓶颈在物理执行。Auriga把模型决策与机器人执行分开,由模型维护显式任务信念,所有动作经统一准入网关先预览轨迹、执行中校验阶段容差并在偏差时停机回报。冻结后的Auriga在42项任务上取得57.7%成功率、64.0分,排名第一,并在RoboCasa365上达到73.2%。
深度剖析
Auriga把视觉语言模型在机器人操作上的失败主要归到物理执行环节,而不是任务判断环节,并让一个不针对具体任务的执行外壳承担测量、校验与停机。 同一模型在RoboDojo的210个诊断回合中,若允许它直接沿自选路径移动物体而不驱动机械臂,成功率为76.2%;通过基准自带的参考末端执行器接口驱动机械臂时只有22.5%。 在覆盖42项任务、每项5个回合的诊断集上,Auriga把这一差距补回68.3%,成功率59.2%,同一批回合中参考接口为22.5%。
外壳不替模型做任务决定,模型在每个回合内维护一份可修改的任务信念,记录当前计划、待解疑问和若干任务前提的状态。 此前的分步或分块动作接口只按最新画面发出一步动作,模型在动作提交前看不到整条路线;把动作写成程序则把判断交给看不见场景的脚本,程序正常退出并不代表接触成功。 Auriga让模型一次描述完整的多阶段双臂动作序列,由外壳编译成轨迹预览,在仿真暂停时展示路径、各段耗时和间隙警告,模型审阅后才执行。
每次物理动作都经过同一个准入网关,执行中按模型为各阶段设定的到达容差和夹爪开合检查,偏差超出容差就停机并回报实测偏差。 参考接口下机械臂常差几毫米错过抓取、在搬运中掉落物体或撞上容器边缘,而分步接口要等下一帧才能发现,此时机械臂已经移动。 停机回执列出已完成阶段、实测偏差、未执行阶段和新的相机视图,模型据此从当前物理状态就地恢复,而不是重置场景重来。
冻结后的外壳在RoboDojo官方排行榜上以64.0分、57.7%成功率位列总榜第一,并在场景随机化下保持第一。 同一模型配参考外壳时为29.0分、22.5%成功率;在12项泛化任务上,Auriga标准场景成功率52.28%、随机场景45.61%,而学习型策略在随机化下成功率最多下降33.9个百分点。 评测覆盖42项任务、三个随机种子共6300个回合,外壳在评测期间冻结,不做目标任务探索、不使用示范、不重置;在RoboCasa365的50项Target50任务、250个回合上,同一冻结外壳达到73.2%总体成功率。
启示与展望
已展示的范围是两个仿真基准上的零样本单回合评测:RoboDojo的双腕桌面操作42项任务与RoboCasa365的50项Target50移动操作任务,外壳在评测期间冻结,不使用目标任务探索、示范或重置。
作者把失败归因于运动学轨迹执行的边界:阶段校验和信念更新能可靠发现偏差,但会扰动多体耦合结构的恢复动作可能耗尽回合预算,例如叠碗任务在800步上限处失败、HeatKebabSandwich在100次模型请求上限处失败;作者提出的后续方向是连续力敏感操作、降低推理延迟和自动跨任务工具合成。
