跳到主要内容
返回时间线
arXiv来源发表:

人体动作生成改用图像扩散:把关节轨迹排成图,两套骨架共用一个模型

核心概要

人体动作生成不再为每套骨架单独建模:把根节点相对关节轨迹排成关节-时间图像后,图像扩散架构在HumanML3D与KIT-ML上共用同一个动作自编码器和同一个生成器,两套骨架定义都保留。

Source-provided article image: Image Diffusion Models Are Good 3D Human Motion Generators
Figure 1 · arXiv

深度剖析

文本到三维人体动作生成可以走图像扩散这条路:把根节点相对的各关节轨迹按身体部位和运动链顺序排成一张关节-时间图像,动作就变成图像生成架构能直接处理的对象。 此前这类模型依赖与特定骨架绑定的向量表示,HumanML3D与KIT-ML的关节数量和索引约定不同,向量维度和每个分量对应的关节都不一样,跨数据集共享输入输出需要额外处理。 在HumanML3D上,按数据集单独训练的模型把Top-1 R-Precision从MARDM-SiT-XL的0.500提高到0.540,FID从0.114降到0.089;在KIT-ML上FID从0.242降到0.171,Top-1 R-Precision从0.387升到0.395。

全局根运动不放进这张图,而是走一条独立的根运动隐变量通道,解码局部动作时用根隐变量做条件,让整体位移和局部关节姿态在生成过程中互相影响。 图像形状统一并不自动带来解剖关系,也不表达全局移动与局部关节活动之间的依赖,因此需要把根运动单独建模并与图像解码耦合。 消融显示,去掉根条件解码后FID从0.106升到0.116、Top-1 R-Precision从0.533降到0.525;共享训练中若不加数据集条件,FID为0.278,加上后降到0.093。

同一个动作自编码器和同一个文本条件生成器可以同时服务两套骨架,不需要骨架重定向,也不需要把关节补齐到相同数量。 此前跨异构骨架的生成要么做骨架重定向,要么在骨架条件下合成,共享参数通常要求统一关节布局。 共享训练在HumanML3D上把FID从0.089进一步降到0.082、Top-1 R-Precision从0.540升到0.546,在KIT-ML上FID从0.171降到0.145、Top-1 R-Precision从0.395升到0.405,两个基准的六项指标全部改善。

启示与展望

报告覆盖的是HumanML3D与KIT-ML两个基准上的文本到动作生成,动作按20 FPS和12.5 FPS处理,使用各自原生骨架定义与标准训练、验证、测试划分。方法面向需要跨异构骨架共享动作生成模型的研究者与工程师,评估沿用MARDM协议及其预训练评估器,重复20次并报告均值与95%置信区间。作者提出后续会把该表示扩展到更广的骨架结构与动作数据集。

共享训练的效果依赖数据集条件,去掉该条件后共享模型FID为0.278,差于数据集专属基线;根流匹配权重在测试范围内只带来轻微变化。作者把更广骨架结构与动作数据集的验证列为后续工作,当前结论限于所报告的两个基准。