SIMCA 用离线最小二乘校准引导权重,使扩散与流匹配后验采样在 50 步内达到或超越现有方法
相关研究与后续进展核心概要
作者提出 SIMCA:利用条件去噪分数匹配与条件流匹配目标在每步对引导权重呈最小二乘结构这一观察,把扩散与流匹配模型的无训练后验采样中引导权重化为每步二维线性最小二乘问题,并用贪心模拟式校准(仅需一个小批量采样轨迹、无需重训练)离线求解;在 FFHQ、ImageNet、CelebA、AFHQ-Cat 的多种逆问题上,该方法匹配或超越现有无训练方法,并使扩散采样器把步数从 1000 降到 50 而重建质量无显著下降。
深度剖析
论文指出,在每步把条件预测写成无条件网络输出与测量引导项的加权和时,扩散的条件去噪分数匹配目标与流匹配的条件流匹配目标都是关于引导权重的线性最小二乘目标,因此每步只需拟合两个标量。 此前无训练后验采样方法的引导权重多由启发式设定或从假设的后验协方差推导,论文称这些做法都没有把权重拟合到可从数据度量的准则上,且都把预训练场的权重固定为 1。 该结论来自对目标函数的代数推导(式 10、式 11),属于方法层面的论证;论文同时指出,由于只拟合两个参数、且测量一致性项与无条件网络都不必然最优,模拟无关的校准不保证采样轨迹更接近真实后验。
论文提出贪心模拟式校准 SIMCA:把模拟无关目标中的前向过程密度替换为依赖权重的近似后验,按时间步顺序逐个校准当前权重、固定此前已校准的权重,使每步仍归结为线性方程组。 相比模拟无关版本,SIMCA 把采样时实际访问的状态分布纳入校准,从而处理前向边缘分布与推理状态之间的不匹配(论文在附录中将其与扩散模型的 exposure bias 相联系)。 在 FFHQ 随机修复上,DPS 未校准时 LPIPS 0.203、FID 69.20,模拟无关校准后为 0.103、33.71,SIMCA 后为 0.069、19.16;GDM 与 TMPD 上排序一致。校准集大小消融显示单张图像已足够,求解一对权重耗时 0.11 秒(单图)到 6.76 秒(100 张)。
在扩散与流匹配骨干上,SIMCA 在多个数据集与逆问题中匹配或超越现有无训练方法。 论文报告在 FFHQ 与 ImageNet 的随机修复、超分辨率、运动去模糊等任务上超过最强基线 DAPS,并在流匹配的 CelebA 上于十五列中的十四列取得最佳值、超过最强基线 Flower。 扩散侧在 FFHQ/ImageNet 上评估 100 张留出图像,基线指标取自各自基准在相同算子、噪声水平与测试图像下、以 PSNR 网格搜索超参的结果;流匹配侧沿用 Flower 基准的五个任务与算子设置。论文也报告了 SIMCA 未占优的情形:ImageNet 高斯去模糊上落后于 DDNM,AFHQ-Cat 的去模糊与去噪上 PnP-GS、Flower、OT-ODE 更好。
校准后的权重使扩散采样器在把步数从 1000 降到 50 时重建质量无显著退化,且每个离散化配置需单独校准。 论文把这一低步数可用性归因于按各自离散化重新校准权重,并指出权重依赖测量算子、噪声水平、测量一致性项、预训练网络、采样器与时间步数,任一改变都需重新校准。 FFHQ 上 DDPM 在 50 步时随机修复 PSNR 33.76、SSIM 0.930,优于 1000 步的 32.91、0.916,而 LPIPS 与 FID 略有下降;附录 E 显示 DDPM 在 20 步以上仍可用、Euler-Maruyama 在 50 步以下崩溃,DDIM 退化较平缓。
启示与展望
该策略面向线性测量算子与加性测量一致性项的无训练后验采样,适用于需要在测量设置频繁变化时快速获得引导权重的实践者;校准在离线、与测试图像不相交的图像上进行,扩散侧使用 FFHQ 与 ImageNet 训练集图像,流匹配侧沿用 Flower 的校准划分。校准后的权重在给定测量算子、噪声水平、测量一致性项、预训练网络、采样器与时间步数下固定,推理阶段不再引入额外开销;论文建议的实用配置是 DDPM 配合重新校准的权重在 50 步运行,在随机修复与超分辨率上给出表中最好的失真指标。
论文报告在 ImageNet 高斯去模糊以及 AFHQ-Cat 的去模糊与去噪上 SIMCA 未超过最强基线,作者将其归因于高斯似然在这些算子上确实受限;这类算子下校准能带来多少收益仍是开放问题。权重对采样器与步数的依赖意味着跨配置直接迁移权重会失去增益,实际使用中需要为每个配置单独校准。此外,论文的结论建立在图像逆问题的实验范围内,其他数据模态与非线性测量算子下的表现尚待检验。
