视频扩散模型为何违反物理:研究者定位到RoPE空间锚定效应,仅缩放RoPE频率即提升物理常识
该研究对文本到视频扩散模型的“运动规划”过程做了可解释性分析,发现自注意力中RoPE引起的过度空间注意力衰减会让早期候选区域过早锁定到物理上不合理的位置,并据此提出一种仅在不同去噪步上缩放RoPE频率的轻量架构改动,在免训练与基于训练的实验中提升了生成视频的物理常识。
该研究对文本到视频扩散模型的“运动规划”过程做了可解释性分析,发现自注意力中RoPE引起的过度空间注意力衰减会让早期候选区域过早锁定到物理上不合理的位置,并据此提出一种仅在不同去噪步上缩放RoPE频率的轻量架构改动,在免训练与基于训练的实验中提升了生成视频的物理常识。
已读完全部报道