跳到主要内容
返回时间线
arXiv来源发表:

机器人操作不再只看当前画面:用光流监督预测未来运动,0.87B参数模型在真机双臂任务上平均成功率63.3%

导语

Evo-World把光流监督的未来运动预测加进轻量视觉-语言-动作策略,在Meta-World MT50上取得91.1%的分层平均成功率,比无预测基线相对提升13.0%,并在AgileX真机单臂与双臂任务上以0.87B参数超过所评估的基线。

Source-provided article image: Evo-World: A Lightweight Vision-Language-Action Model with Future Motion Prediction via Optical-Flow Supervision
Figure 1 · arXiv

正文

机器人策略现在可以在动作监督之外,额外学习“场景接下来会怎么动”,而不只是理解当前这一帧画面。 此前的视觉-语言-动作模型只靠动作标签训练,动作监督并不显式要求策略的表征去预判场景变化;已有的未来观测预测则把任务相关的运动与基本静止的外观纠缠在一起。 在Meta-World MT50上,预测未来RGB帧的变体比无预测基线高3.7个百分点,而改用光流监督的Evo-World又比该变体高6.8个百分点,三者使用相同的训练与评估流程。

预测信号以潜在运动表征的形式进入动作生成,部署时不需要任何未来图像或光流估计器。 做法是用DINOv2与CLIP初始化的编码器把当前视图和指令编码,再由多层感知机预测指令条件下的演示运动,并用有界FiLM把当前表征与预测表征拼接后调制视觉-语言词元。 训练目标由RAFT预计算的三通道光流渲染编码得到,该目标通路只在训练时使用;真机在AgileX双臂机器人上对花卉插花、挂杯子和微波炉放盘三项任务各评测20次。

接下来

报道覆盖的是仿真基准Meta-World MT50、RoboTwin,以及AgileX双臂机器人上的三项真机任务,真机每项任务评测20次。适合关注机器人操作策略与轻量部署的研究人员和工程师阅读。当前运动目标描述的是二维图像平面位移,不含显式三维几何,后续工作将探索几何感知的监督方式。

消融结论限定在Meta-World的同一训练预算与第二阶段10万步检查点下。线性可解码性分析只评估末端执行器位移,并未证明预测器在现有表征之外增加了可线性解码的运动信息。光流目标来自二维图像平面位移,不含显式三维几何。

来源