Runway把视频预训练模型改成机器人控制器：Praxis-1在RoboLab-120解出46.2%，权重开源
核心概要
Runway发布Praxis-1，把27B参数的视频基础模型改造成能同时预测未来画面和动作的世界动作模型，并以开放权重形式放出。机器人数据稀缺且采集昂贵，此前通用策略多依赖遥操作或第一视角录像；Praxis-1改用日常视频预训练，再经具身视频中训练和动作专家联合训练。在DROID上微调后，它在RoboLab-120的1200个回合中解出555个（46.2%），为榜单上世界动作模型和开源机器人基础模型最高。
深度剖析
机器人策略的预训练来源从机器人专用数据扩展到日常视频：一个视频基础模型被改造成在每次调用时同时给出未来画面和动作的世界动作模型。 真实机器人数据稀缺，凑够训练通用策略的数据代价高昂，此前一些实验室靠增加遥操作或第一视角录像来补。 在DROID上微调的Praxis-1于RoboLab-120官方协议下每任务10次试验，1200个回合解出555个（46.2%），高于FLUX 3 Action的42.9%，也高于榜单上包括π0.5和GR00T N1.6在内的开放权重VLA。
模型分三部分协作：视频主干预测下一段场景，动作专家读取主干内部状态推算产生该场景的运动，每个机器人另有薄投影层把位姿和动作转成共享格式。 动作专家是16层、宽1024、约314M参数的稠密Transformer，其交叉注意力层分别读取主干八个编码器块，因此读到的是主干想象出的未来。 每次调用输入指令、最新相机帧和当前位姿，返回一段预测视频和1.6秒动作，即15 Hz下24行动作；在单张H100上默认分块执行一次往返约0.55–0.6秒。
启示与展望
已展示的范围是DROID微调的单臂Franka、双臂YAM、RT-1与SO-101上的仿真和真实台架任务，以及RoboLab-120的官方评测协议；引导参数是为DROID Franka调好的，其他机器人需要各自重调。
中训练算力增加带来更好微调的趋势在已见和未见机器人上都出现，但并非每一步都上升，作者称确切关系仍需进一步研究；离线评估中部署误差同时混合了未来视频与动作预测，作者也指出它不是完全可靠的指标。