人形机器人上下身分开训练：JAEGER在H1与H1-2上把上身关节误差压到约0.1弧度
核心概要
人形机器人全身控制通常由一个策略同时驱动上下身，上身大幅动作会拖累下身平衡，训练也容易在两者之间互相干扰。JAEGER把上身与下身拆成两个独立控制器，共享观测与奖励，并先用监督学习初始化上身、再以强化学习联合训练，同时支持根速度跟踪与关节角跟踪两种指令模式。在H1与H1-2两个平台的仿真对比中，JAEGER的上身关节跟踪误差低于HumanPlus、ExBody与OmniH2O等基线，姿态模式下的关节误差约为其他方法的30%至60%。
深度剖析
人形机器人全身控制被拆成上身与下身两个独立控制器，各自专注自己的任务，而不是由一个网络同时承担行走平衡与上肢姿态。 此前的单控制器方案把上身与下身放在同一策略里学习，上身跟踪行为会为了迁就下身稳定而变得过于保守，两者在训练中互相干扰。 在H1与H1-2两个平台的根速度模式对比中，JAEGER的上身关节角误差为0.1093与0.0933弧度，低于HumanPlus的0.2187与0.2547弧度以及ExBody在H1上的0.1689弧度。
两个控制器共享观测与奖励，输出动作拼接后作为关节PD控制器的目标关节位置，从而在分开训练的同时保持全身协调。 分开控制需要解决协调问题，否则上身与下身各自为政无法完成整体动作。 该问题被建模为含两个智能体的Dec-POMDP，下身策略使用15步观测历史，上身策略使用3步观测历史，二者共同接收本体状态、上一动作、根速度目标与姿态目标。
训练采用分阶段的课程式流程，先单独训练下身基座策略，再对上身做监督初始化并对下身施加KL正则，最后用强化学习在完整姿态幅度下继续优化。 直接从基座策略继续用强化学习训练全身时，上身容易过度保守、下身则被未收敛的上身拖离基座策略而失去平衡。 消融对比中，去掉监督初始化的JAEGER w.o. Init在H1-2姿态模式的上身关节误差为0.4088弧度，而完整JAEGER为0.1192弧度；用单个Transformer控制全身的JAEGER Single在H1-2根速度模式的上身误差为0.4693弧度。
启示与展望
报告的范围是JAEGER在H1与H1-2两个平台上于IsaacGym仿真中的跟踪误差对比，以及在真机上进行的演示与侧向力扰动稳定性试验；真机侧向力约为70N至210N，作者报告超过90%的试验中机器人保持平衡或恢复。
作者指出H1-2因上身更重，各方法的跟踪误差都大于H1；姿态模式下根速度普遍较低，上身对下身平衡的干扰不如根速度模式明显，因此两种模式的消融差异程度不同。