机器人数据不再靠遥操作:智能体把一次标定片段编译成仿真任务,真机成功率93比84
核心概要
北京大学与英伟达的 DataFarm 让编码智能体接手遥操作员的工作:只给一次标定片段和一条数据请求,智能体就在仿真里重建场景、写出专家控制器与成功判定,再由以真实图像为条件的视频模型渲染出带动作标签的多视角视频。在五项双臂真机任务上,只用农场数据训练的策略在原始场景取得100次试验93次成功,与同等数量遥操作数据的84次相当;在训练集未出现的桌布与彩色灯光下保持87次,遥操作策略降到46次。
深度剖析
机器人示教数据的采集不再必须由人操作机械臂完成,一个编码智能体可以承担遥操作员的角色,把一条数据请求和一次标定片段变成可直接训练策略的多视角视频数据。 此前遥操作是机器人策略训练数据的主要来源,每条片段都要占用机器人和操作员时间,失败后还要复位,换一个新任务、场景或视角就得从头再来。 在五项双臂真机任务上,只用农场数据训练的策略在原始场景100次试验成功93次,同等数量遥操作数据训练的策略成功84次;在训练集未出现的桌布与彩色灯光下,两者分别为87次和46次。
动作与状态由仿真器给出,外观由以真实图像为条件的视频模型给出,两者分开后,渲染出的画面既跟随仿真运动又像真实相机拍摄。 此前的真实到仿真再到真实流程依赖重建场景资产,布料和发光显示屏难以重建;直接让视频模型生成运动则拿不到精确的动作标签。 在五项任务上,H3 渲染的光流与仿真光流平均相差4.4像素、在65%的运动像素上一致,而把同一渲染与半秒后的仿真画面对齐时误差升到8.8像素、一致率降到41%;头部视角到真实相机帧的 KID 为0.83,仿真器自身为1.93。
数据生产被拆成互相检查的若干阶段,专家控制器面对一个它看不到的判定器开发,每条渲染片段还要经过自动检查与独立评审才能入库。 让写任务的模型同时写它的成功检查,等于让它给自己的错误盖章,而视频模型可能照抄参考帧的布局或凭空添加物体。 自动检查规范在入库前用故意损坏的片段校准,删除、复制、放大物体、移动事件时间、交换视角或改色都必须被对应检查抓到;每条片段另由独立评审智能体对照真实参考帧与仿真状态给出结论。
启示与展望
演示范围是五项双臂任务,覆盖刚性、铰接、可变形与带显示屏的物体,在双机械臂 PiPER 机器人上以每任务每条件20次真机试验评测;成本数字来自作者自托管的 H3 渲染部署与一次中国遥操作报价的对比。
方法依赖能复现任务技能的仿真器,若现有仿真器做不到,需要先做出新的仿真器变体;标定片段无法确定的动力学量(如质量、摩擦)被标为假设并在仿真中随机化,对成功依赖精确动力学的任务可能不够;渲染片段仍可能含有自动检查漏掉的缺陷,因此每条都要独立评审,被拒的渲染也计入成本;评测只覆盖一种双臂本体和五项任务。
