跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

冻结视频扩散模型Wan2.1的中间状态中可恢复运动信号,被解码为3D人体运动生成

该工作探究冻结的大规模文本到视频扩散模型是否隐含可显式提取的3D人体运动知识,通过探测Wan2.1发现其整个去噪过程的中间状态均存在可恢复的运动信号,并提出寄生协同去噪范式及其实现Parasitic Motion Decoder(PMD)——一个共享宿主噪声调度、经σ自适应多层融合读取宿主中间特征的流匹配解码器,在不修改宿主的前提下以远少于专用运动生成器的可训练参数在文本-运动对齐上领先,并单次生成配对的视频与运动。