TERRA 仅凭运动学轨迹重建地形,让肌肉驱动的人体模型在楼梯、坡道与座椅上完成动作
核心概要
TERRA 提出一套端到端流程,仅从无场景的运动学轨迹出发,结合地形先验、估计的接触事件与自由空间证据恢复任务相关支撑几何,并在重定向中加入解剖、肌腱连续性与接触约束,用五个数据集生成的“运动—地形”配对训练出单一肌肉驱动控制策略,在重建、重定向与留出跟踪基准上提升地形精度、大幅减少解剖与交互违规,并在受支持地形族上取得最高完成率。
深度剖析
TERRA 能从只有身体运动学、没有场景模型的运动数据中恢复任务相关的支撑几何,并区分坡道与楼梯等不同地形族。 此前相关工作要么依赖视觉观测,要么假设已有地形或物体几何(如 OmniRetarget 的交互网格),SceneBot 则用等高地形块拼接;TERRA 改为对显式地形先验(独立支撑盒、倾斜坡道、楼梯、座椅)做结构化推断,并用踝—趾朝向与摆动脚离地剖面区分连续坡面与离散台阶。 在已知地形标签的数据集上报告 99.9% 地形族准确率,坡道坡度与台阶高度误差达到亚度与亚厘米量级;去掉足部朝向与摆动间隙线索后族准确率降至 73.5%;对阈值扰动与 2/5/10 毫米地标噪声保持稳健,支撑区间被移除 10%–30% 时出现随地形类型变化的渐进退化,座椅最明显。
在地形感知重定向中,加入解剖、接触、间隙与碰撞残差项后,参考动作的物理违规显著下降。 TERRA 在 OmniRetarget 交互网格目标上增加目标模型专属的解剖与地形交互项,并用序列二次规划求解;相比未加残差的版本,接触时序 F1 从 88.49% 提升到 93.80%,地形穿透从 33.45% 降到 0.16%。 在 6498 个动作上报告重定向覆盖率、接触时序 F1、肌腱连续性、自碰撞、穿透、滑步与悬空等指标,并与 OmniRetarget、GMR、MM-MoCap-Body 及 TERRA+Voronoi 对比,TERRA 在五项物理违规指标与接触时序 F1 上均为最好。
用重建地形配对后的参考动作训练单一肌肉驱动策略,在留出动作上取得最高完成率。 此前肌肉骨骼模仿学习的行为库基本局限于平地;TERRA 把三维地形导航纳入单一参考条件策略的行为范围,训练数据为 9.4 小时、来自五个数据集的运动—地形配对。 按受试者或 AMASS 演员/会话确定性划分 8068 个片段、留出约 15% 测试集,每种方法用三个随机种子训练策略、每个片段五次随机运行;TERRA 在平地、坡道、箱体与座椅上成功率最高,在平地、坡道与箱体上 MPJPE 最低,而 TERRA+Voronoi 在楼梯上最好、座椅 MPJPE 最低。
地形配对的动作生物力学数据集让学习策略产生的信号可以直接与同一运动条件下的人体测量波形比较。 这提供了把仿真肌肉活动与实测 EMG、垂直地面反作用力并置观察的途径,而不只是报告跟踪误差。 在 Gait120、Darmstadt 与 Vielemeyer 的留出记录上,对平地行走、坡道下行、楼梯下行与坐立四类任务,用十次随机 rollout 展示垂直 GRF 与三块代表性肌肉的归一化波形,作者描述为既有相似也有可见的时序与形状差异。
启示与展望
这套流程面向已有身体运动学但缺少场景模型的运动捕捉数据,适用于坡道、楼梯、独立支撑与座椅这四类静态地形先验,输入可为 AMASS 兼容的 SMPL-H 以及 C3D、MAT、TRC 格式。它使研究者能够把大规模平地运动库扩展为带地形的肌肉驱动行为库,并用同一套参考动作比较不同重定向与策略训练方案;对生物力学研究者,它提供了把策略生成的 EMG 与垂直地面反作用力同实测波形并置观察的入口。作者表示代码与数据将公开,并指出动态图元几何、在线重定向与移动表面属于未来工作。
地形重建的评估依赖带地形标签或参考网格的数据集,在完全没有场景信息的大规模数据(如 AMASS)上只能用接触与非碰撞一致性指标间接衡量,这类指标与真实几何误差之间的关系仍需进一步观察。策略成功率在不同地形族之间差异明显,箱体一类明显低于坡道,说明受支持地形族的难度并不均匀。生理比较目前是定性展示归一化波形,作者也将其表述为未来可用于研究生理过程的工具,而非已经建立的对应关系。此外,本次读取的是论文全文文本,图表与补充视频中的细节无法在此核对,涉及具体曲线形状与超参数取值的判断应以原文图表为准。
