跳到主要内容
返回时间线
arXiv来源发表:

扩散模型把时间结构写进加噪过程:DSSD在气象与机器人视频上降低预测误差

核心概要

时空预测的扩散模型通常给每个未来帧加独立噪声,把时间相关性全部交给去噪网络学习。DSSD改为用可学习的对角状态空间模型构造加噪过程本身的时间算子,其衰减率与频率与去噪器联合训练,并用该模型平稳协方差的Cholesky因子保证算子因果、可逆且每帧噪声方差不变。在SEVIR、Turbulence、BAIR、RoboNet四个数据集上,它与共享同一去噪器的扩散基线比较取得更低的概率预测误差,其中SEVIR原始CRPS为3.975、最强基线DPM为4.174。

Source-provided article image: Dynamical State-Space Diffusion for Spatiotemporal Prediction
arXiv

深度剖析

时空预测的扩散模型可以把时间相关性放进加噪过程,而不只依赖去噪网络。DSSD让未来帧的噪声按一个可学习的时间算子混合,使相邻帧的噪声带有衰减和振荡结构。 此前的做法是给每个未来帧加时间上独立的噪声,时间依赖完全由去噪器从数据中学;DyDiff虽引入时间相关,但只用固定的指数滑动平均,衰减率按预设调度而非从数据学习,只能表达单一记忆尺度。 在SEVIR与Turbulence两个科学场数据集上,DSSD的原始CRPS分别为3.975和0.00756,同一去噪器下的最强基线分别为DPM的4.174和DyDiff的0.01100;在BAIR上它在全部八项指标上优于DPM与DyDiff,在RoboNet上八项中领先六项。

时间算子由一组阻尼振荡模态构成,每个模态的衰减率和频率都是可学习标量,并与去噪器联合训练。 这些模态来自对角状态空间模型,其脉冲响应把当前输入与过去若干帧的输入按权重叠加,权重由归一化后的模态核给出。 直接对有限窗口做卷积需要窗口之前的输入状态,从零状态起步会让早期帧的噪声方差低于调度规定,例如首帧只得到一半;改用平稳协方差的Cholesky因子后,算子保持因果、精确可逆、每帧噪声方差为一,并在干净端退化为恒等。

采样时每一步先撤销当前步的时间混合、再施加下一步的混合,其余沿用确定性DDIM更新。 当算子取恒等时,该更新退化为标准DDIM步,因此时间混合是叠加在既有采样器之上的改动。 在BAIR上,DSSD的FVD为766.0,DPM为1329.2、DyDiff为1417.4;在RoboNet上为430.2,对应659.2与770.6,而RMSE的改善幅度较小。

启示与展望

演示范围是SEVIR与Turbulence两个科学场数据集、BAIR与RoboNet两个机器人视频数据集上的固定窗口预测,所有方法共享同一冻结VAE、同一视频U-Net或DiT去噪器与同一50步DDIM采样网格。作者表示将公开模型权重、训练与采样代码及配置。

时间混合在单一噪声水平上不带来关于未来的额外信息,其收益只可能来自有限去噪器与采样器所面对的回归几何变化,这一点由实验而非理论确立。算子性质在有限精度下可能因病态而放大误差,作者只在固定动力学水平网格与指定窗口长度上做数值校验,且这些校验不覆盖所有参数取值。