机器人预训练不再依赖配对机器人数据：跨视频预测只用人类演示，未见布局成功率从18%升到41%
核心概要
世界-动作模型的预训练改从成对的人类演示里学：模型看一段演示的视频与动作，去预测另一段同任务演示的动作和未来画面，从而把场景外观与任务交互分开。此前同一段视频内的下一帧预测让上下文与目标共享场景、视角和采集来源，模型可以靠外观线索而不必学可迁移的交互。在MimicDroid上，跨视频预训练把Cosmos Policy的平均成功率从40.9%提到68.3%，未见布局一级从18.3%提到40.8%，且无需配对的机器人演示。
深度剖析
世界-动作模型的预训练不再只从单段演示内部预测下一帧，而是用一段人类演示去预测另一段同任务演示的动作与未来画面。 此前的视频预训练在单段演示内做下一帧预测，上下文与目标共享场景外观、视角和采集来源，模型可以依赖演示特有的视觉线索，而不必把可迁移的交互从中分离出来。 在MimicDroid的L1到L3划分上，跨视频预训练把Cosmos Policy的平均成功率从40.9%提到68.3%，把Cosmos3从59.8%提到77.7%，三个层级都有提升，未见布局一级的提升最大。
模型接收当前查询帧与状态，同时接收一段参考演示的视频和动作，再联合预测查询自身的动作与未来画面。 参考提供任务如何推进的示例，查询观测给出目标场景与来源，因此预测查询未来需要把演示中的交互迁移到查询的视觉与几何环境中。 训练数据来自EgoVerse中不同采集来源的同任务演示，构成1099万对查询-参考对，每对为2秒窗口，每个查询平均有10.52个参考，其中6.35个来自其他来源。
跨视频预训练让动作槽特征在不同人、不同采集设备和不同机器人之间对齐同一动作，并把注意力集中到操作的手与被操作物体上。 原始视频主干在人类演示和机器人观测上的注意力都分散在边缘和背景，而不是集中在交互的手与物体上。 在留出的EgoVerse与RoboMIND窗口上，跨视频预训练的动作预测误差为0.039、准确率68.5%，对照的同视频预训练为0.046和55.6%；跨具身回归在人类窗口上达到0.71的Spearman相关，在机器人窗口上为0.62，原始视频模型分别为0.55和0.41。
启示与展望
演示范围覆盖两个视频主干、三个基准以及上下文内与无上下文两种后训练协议，动作统一写在以每段演示起始时刻固定的笛卡尔任务空间中。方法面向使用末端执行器控制器的机器人策略，论文说明三个后训练目标都是笛卡尔的，关节空间策略尚未验证；配对依赖任务标签与手部跟踪，无标签或无手部姿态的视频需要额外的门控与姿态估计。论文把扩展到单一人类数据集之外、结构更松散的数据源列为后续工作。
论文报告预训练只使用单一人类数据集的配对窗口，缩放曲线尚未饱和，四分之一语料在未见层级上已追平全量同视频预训练。人类与机器人动作共享同一笛卡尔任务空间是方法成立的前提，论文指出关节空间动作目标会同时破坏配对、动作先验与后训练复用。表示分析中，跨视频模型在检索与探针时会额外接收匹配参考的未来动作，这一输入本身与未来运动探针直接相关。