人类第一视角视频扩到5万小时:Open-HumanScale开源配方让机器人成功率随预训练时长对数线性上升
核心概要
Open-HumanScale把第一视角人类操作视频的预训练规模推到5万小时,并公开了数据、训练流程与检查点。在统一的“世界—动作”模型上,预训练时长与下游机器人任务成功率呈经验对数线性关系,且任务与场景多样性同步扩大时曲线更陡。仅用人类数据预训练的HumanWAM-Vanilla在RoboTwin 2.0的Clean2Clean上达到92.08%,在随机化场景Clean2Random上为68.88%。
深度剖析
第一视角人类视频现在可以当作机器人策略的可扩展预训练来源,规模从100小时一路推到5万小时,下游成功率随预训练时长稳定上升。 此前同类工作多以验证动作损失或零样本动作预测来衡量人类数据扩展,缺少在闭环仿真任务成功率上的系统对照。 在隔离注意力配置下,RoboTwin的随机化场景成功率从100小时的8.4%升到1万小时的28.7%,不做人类预训练时只有2.1%;场景随机化设置则从25.2%升到58.1%,无预训练为16.2%。
这套配方把不同来源的人类操作轨迹统一到同一个双手末端执行器动作空间,使异构数据可以共同训练一个世界—动作模型。 各第一视角数据集用手部关键点、腕部姿态等不同管线估计动作,原始数值缺乏一致的物理含义,直接混合会削弱监督信号。 在由EgoSuite-Open100K、HumanNet、EgoDex和EgoVerse组成的1000小时语料上,对齐后的模型在随机化场景成功率上为26.4%,未对齐为18.0%,且对齐模型在预训练阶段动作损失更低。
把人类数据与真实机器人数据联合预训练,并加入视觉目标条件,模型可以在不更新参数的情况下按目标图像执行任务。 只用人类数据预训练的模型存在具身差距,部署前仍需针对每个目标任务做示教微调。 在固定1.46万小时机器人语料上加入4.59万小时人类数据后,20个真实机器人任务的零样本平均成功率从20.0%升到30.5%;HumanWAM-Goal在RoboTwin 2.0后训练后Clean2Clean为92.70%、Clean2Random为84.60%。
启示与展望
演示范围集中在双手桌面操作:仿真评测使用RoboTwin 2.0与RoboDojo;HumanWAM-Vanilla的真实机器人实验在Cobot Magic上覆盖叠纸杯、折毛巾、抽屉收纳与桌面整理四项任务,HumanWAM-Goal则在Astribot S1轮式移动操作平台上评测20项零样本任务。读者应把它看作第一视角预训练配方的规模证据,而非跨全部机器人形态的通用结论。
对数线性关系是经验拟合,拟合优度在两种注意力配置下分别报告,并非理论保证。纯人类预训练模型在RoboTwin随机化场景上仍落后于部分对比模型,作者将其部分归因于基础世界—动作架构未加专门模块。真实机器人上难任务的成功率在标准按比例采样下趋于平台,需靠调整人机采样比例才继续提升。
