机器人世界模型不再对齐关节：共享潜动作让人类视频直接变成训练数据
核心概要
RynnWorld-Latent 把不同机器人、人类和仿真视频统一到一套由冻结的 RynnLAM 提取的连续潜动作上，作为视频世界模型的共享条件接口，从而不必对齐各平台的原始控制空间。模型在约 5.535 亿帧、23 个数据集上预训练，再经目标机器人后训练，在公开基准和两台真实机器人上报告了更好的视频预测指标；由潜动作合成与数字遥操作生成的数据，在评估设置中提高了下游策略成功率。
深度剖析
机器人视频世界模型现在可以用一套与具体硬件无关的动作描述来训练，人类第一视角视频、机器人示教和仿真轨迹因此能进入同一个预训练目标。 此前按原始机器人动作做条件的世界模型受制于各平台的关节数、坐标约定和控制频率，难以跨平台扩展，而人类视频本身没有机器人控制标签。 预训练语料为 23 个数据集、约 5.535 亿帧，覆盖人类交互视频、机器人示教与仿真 rollout，三者被重新标注到同一潜动作空间。
模型从一帧初始观测和一段连续潜动作预测未来视频，不使用文本条件，也不需要共同的原始动作空间。 潜动作由冻结的 RynnLAM 从相邻帧的视觉变化中提取，描述的是观测之间发生了什么变化，而不是机器人下发了什么命令。 每个潜动作与一个未来视频潜帧按索引对齐，因为潜动作提取的步长等于视频 VAE 的时间压缩倍数，这一对应关系支撑了逐帧注入的设计。
动作条件通过两条通路进入预训练视频扩散 Transformer：全局动作 token 参与联合自注意力，另一条逐帧对齐的局部通路把每个动作描述加到对应的未来视频潜帧上。 主干不使用自适应层归一化，因此动作条件只能经由注意力 token 或显式特征调制进入；两条新增通路的输出投影和门控都零初始化，初始时相当于恒等映射。 在 Marvin-WUJI 上，去掉逐帧对齐注入后 PSNR 下降 0.72，去掉局部调制后下降 0.24；在 Astribot-S1 上分别下降 0.88 和 0.25，完整模型在两台平台上指标最好。
后训练后的模型可当作数据引擎：数字遥操作把操作者动作重定向为目标机器人指令并生成配对的动作-视频片段，潜动作合成则编辑源视频首帧、沿用原潜动作序列生成新具身下的 rollout。 真实机器人数据采集成本高，而基于资产的仿真需要显式三维资产和人工系统辨识。 在 LIBERO 上，合成数据中训练把成功率从 94.4 提到 96.1，在 LIBERO-Plus 上从 53.6 提到 79.4；真实任务上加入数字遥操作数据后四个任务的成功率均上升，每个报告成功率基于 35 次试验。
启示与展望
评估覆盖三个 DreamDojo 公开评测集，以及 Marvin-WUJI 双臂灵巧手和 Astribot-S1 轮式双臂夹爪两台真实平台上的留出示教；真实任务成功率每项基于 35 次试验。结果针对经过目标机器人后训练的模型，不构成对未适配机器人的零样本迁移证据。
潜动作从视觉变化中推断，可能同时编码相机运动或外观信息，因此图像指标与定性动作跟随都不构成物理正确性的证明。合成路线中重定向动作与生成观测来自彼此独立的过程，时间对齐和过滤不能保证二者物理一致。合成数据中训练同时增加了数据和优化算力，当前比较未把两者分开。