跳到主要内容
返回时间线
arXiv来源发表:

Möbius把去噪搬进语言模型:不靠运动VAE,HumanML3D生成与描述同时领先

核心概要

Möbius把运动生成中的整个去噪过程放进与运动理解共用的多模态表示空间,干净运动、带噪运动和文本一起参与共享注意力,不再依赖离散分词器或预训练运动VAE。在HumanML3D上,0.6B版本在文本到运动生成和运动描述两项任务上均优于扩散模型、语言模型及统一运动-语言基线;扩展到1.7B参数、1700小时运动数据后,各运动-语言任务进一步提升。

Source-provided article image: Möbius: A Unified Motion-Language Model Bridging Understanding and Generation
arXiv

深度剖析

统一运动-语言模型此前只做到部分统一:理解由语言模型完成,生成则交给一个独立的扩散模块,在学习到的运动潜变量上运行。 此前的统一方案中,语言模型先产生共享多模态表示,再把它作为条件交给外部扩散模型,去噪过程本身仍与语言模型分离。 Möbius把干净运动、带噪运动和文本放进同一套共享注意力,在HumanML3D上,0.6B版本在文本到运动生成和运动描述上均优于扩散、语言模型和统一运动-语言基线。

生成不再由外部扩散模块完成,带噪运动直接在统一多模态空间里逐步去噪,并能与干净运动和语言语义持续交互。 干净运动与带噪运动被表示为运动token,分别送入角色专用的归一化和线性投影参数,再经共享注意力交换信息。 消融实验在Qwen3-0.6B、HumanML3D、仅文本到运动与运动到文本两个目标下比较了稠密路由、按模态路由和按角色路由,按角色路由在理解与生成两侧都保持较强表现。

模型直接处理逐帧原始运动,不需要离散分词器,也不需要预训练运动VAE。 离散分词器会引入量化误差,VAE方案把运动压缩到时间下采样的潜变量,丢失帧级信息。 消融中VQ编码明显削弱生成,VAE编码保持竞争力但运动理解弱于逐帧编码,逐帧建模在两项能力间取得最强平衡。

训练分两阶段:先学运动理解,再把生成参数从理解参数初始化并冻结理解参数。 直接联合优化理解与生成不稳定,随机初始化的生成通路会扰乱预训练语言表示并降低理解能力。 消融中联合优化明显降低理解表现,仅用最后一层上下文做去噪会削弱生成,随机初始化去噪参数也不如从理解参数初始化。

启示与展望

当前实验集中在受控的单人运动场景,评测覆盖HumanML3D上的文本到运动生成与运动描述,以及MotionLab协议下的编辑和时间补全。多人交互、更细致的手部与手指运动、跨异构身体结构的重定向,以及真实机器人等具身系统部署,被列为后续工作。

时间补全中观测帧保持是任务相关的:预测任务上HY-Motion的[P]-MPJPE最低,中间帧补全上Kimodo最低,Möbius只在回溯和关键帧填充上领先。两个模型规模使用不同训练数据,因此它们的比较不能单独归因于模型规模。加入多任务训练后,0.6B版本的文本到运动R@1下降1.53个百分点,FID从6.1291升到6.6746。