人形机器人HALO在仿真中学会感知全身动作，六个未建图真实家庭360次试验成功率91%
核心概要
人形机器人要完成“坐下”“走到指定物体”这类任务，需要把像素和自然语言映射到全身关节指令，而这类配对数据此前只能靠遥操作或穿戴设备逐条录制，一小时数据至少耗一小时人力。HALO把数据生成搬进仿真：在一千个程序化生成的住宅里合成第一人称视觉—语言—动作数据，再用分层系统把自由语言请求拆成子任务、生成五秒全身运动计划并由感知跟踪器执行。训练中从未见过真实住宅，系统零样本迁移到六个未扫描、未建图的真实家庭，360次试验成功率91%。
深度剖析
人形机器人的全身动作数据不再必须由人逐条演示，训练语料可以在仿真中按算力规模自动生成。 此前遥操作或穿戴捕捉设备把数据生产与体力劳动绑定，一小时数据至少需要一小时人力。 训练语料覆盖一千个程序化生成的住宅，每个场景都无需人实地到访或扫描。
系统把一句自由语言请求变成机器人身上的连续动作，感知同时用于决定做什么和决定怎么动。 高层编排器每两秒调用一次现成视觉语言模型，把请求拆成带目标物体的子任务序列。 中层运动生成器以3 Hz把子任务和第一人称RGB图像映射为五秒关节角与骨盆位姿计划，底层50 Hz跟踪器结合机载深度与本体感觉输出关节指令。
在训练中从未出现、也未扫描建图的真实住宅里，系统直接执行六类全身技能。 此前在未见真实环境中的试验数量有限，部分系统只在预先扫描过的房间里评测。 六个真实家庭环境共360次试验，单任务平均成功率仿真91%、真实91%，其中坐下85%、侧身过半开门93%、蹲行通过100%。
启示与展望
演示范围是Unitree G1在六个未扫描、未建图的真实家庭中的六类单任务与三条多任务链，共360次物理试验；新增物理任务仍需人编写提示词并手工设定动作关键帧。
多任务链的成功率低于单任务成功率的乘积，失败多因上一子任务结束时目标不在视野内；感知以视觉为主，物体离开视野或被遮挡后缺少接触信号，接触密集任务会退化。