Möbius把去噪搬进语言模型:不靠运动VAE,HumanML3D生成与描述同时领先
Möbius把运动生成中的整个去噪过程放进与运动理解共用的多模态表示空间,干净运动、带噪运动和文本一起参与共享注意力,不再依赖离散分词器或预训练运动VAE。在HumanML3D上,0.6B版本在文本到运动生成和运动描述两项任务上均优于扩散模型、语言模型及统一运动-语言基线;扩展到1.7B参数、1700小时运动数据后,各运动-语言任务进一步提升。
Möbius把运动生成中的整个去噪过程放进与运动理解共用的多模态表示空间,干净运动、带噪运动和文本一起参与共享注意力,不再依赖离散分词器或预训练运动VAE。在HumanML3D上,0.6B版本在文本到运动生成和运动描述两项任务上均优于扩散模型、语言模型及统一运动-语言基线;扩展到1.7B参数、1700小时运动数据后,各运动-语言任务进一步提升。
已读完全部报道