跳到主要内容
返回时间线
arXiv来源发表:

随机扩散采样不必再靠高阶近似:F-DDPM把模型评估挪到更干净的前瞻点,同预算下FID更低

核心概要

随机扩散采样器一直比确定性采样器慢,提高近似阶数也未必能改善其强收敛阶。F-DDPM把数据预测模型改在由前一步预测和已注入噪声构造的更干净前瞻点上评估,每步仍只做一次模型评估,并具有一阶强收敛保证。在CIFAR-10、ImageNet、FFHQ和LSUN上,它在相同NFE预算下的FID低于所比较的随机基线;用1.5倍NFE时,在许多设置中接近或优于确定性基线。

Source-provided article image: Forward-Value Discretization: Faster Stochastic Diffusion Sampling Without High-Order Approximation
arXiv

深度剖析

随机扩散采样不必靠提高近似阶数来提速:把模型评估位置从当前状态挪到前瞻状态,就能在每步一次模型评估的前提下降低采样误差。 此前随机采样器要达到与确定性采样器相当的样本质量,往往需要多得多的神经函数评估;而高阶离散化对随机采样的加速作用并不明确。 对SDE-DPMSolver++1与SDE-DPMSolver++2给出的匹配上界与最坏情形下界表明,即使score函数精确,两者都只具有一阶强收敛阶,因此SDE-DPMSolver++2的高阶近似并未提高收敛阶。

F-DDPM沿用DDPM的更新形式,只改变数据预测模型的评估位置:在比当前步终点更干净的时间点上评估,以补偿随后注入的噪声。 该前瞻点由一次DDIM步构造,其噪声估计复用上一步的模型预测与上一步注入的噪声,因此不增加额外的模型评估。 在CIFAR-10无条件EDM模型、10次模型评估的设置下,F-DDPM的FID为3.34,SDE-DPMSolver++1为32.64,SDE-DPMSolver++2为7.07;在全部测试设置中,F-DDPM的FID均低于这两个随机基线。

启示与展望

演示范围是CIFAR-10、ImageNet-64与ImageNet-512、LSUN卧室和FFHQ上的图像生成,覆盖像素空间EDM/EDM2模型与潜空间扩散模型,质量以5万样本计算的FID衡量;LSUN与FFHQ的参考统计由作者自行计算,FID可能与其它研究报告的数值不同。

收敛保证刻画的是对连续扩散动力学的离散误差,并未解释为何改变评估位置能改善少步采样质量;方法在分类器引导与无分类器引导下的行为、以及在去模糊和超分辨率等逆问题中与测量一致性约束的相互作用,仍有待研究。