跳到主要内容
返回时间线
arXiv来源发表:

运动模糊不再按数据集各训一个模型:傅里叶卷积学习让一个网络跨相机跨场景去模糊

核心概要

一个统一运动去模糊网络把模糊当作卷积来学,在傅里叶空间做随输入变化的滤波,在GoPro上把PSNR从强基线EVSSM的33.26 dB提到34.02 dB,只多8G FLOPs。

Source-provided article image: UniDeblur: Unified Motion Deblurring via Fourier Convolution Learning
Figure 1 · arXiv

深度剖析

运动去模糊开始用同一个网络处理不同相机、不同场景的模糊,而不是每个数据集单独训一个专用模型。 此前的去模糊网络大多在单一基准数据集上专门化,换到未见过的相机或场景时性能明显下降;已有的All-in-One复原模型把去噪、去雨和去模糊混在一个网络里,但去噪和去雨是加性退化,运动模糊是卷积退化,混在一起会带来优化冲突和特征干扰。 在统一训练协议下重训的对比中,UniDeblur-L在GoPro上把PSNR从EVSSM的33.26 dB提到34.02 dB,在HIDE上从31.70 dB提到32.49 dB,在RSBlur上从33.91 dB提到34.37 dB。

网络不再只做像素到像素的映射,而是在傅里叶空间里学一个随输入变化的全局滤波器,用逐元素相乘代替空间域的卷积核估计。 主流网络依赖空间域的像素级黑箱映射,只拟合图像内容本身,忽略了模糊的卷积本质;此前的频域方法要么把频率表示当作加性残差特征,要么只学一个与退化无关的静态全局滤波器。 消融实验里,把傅里叶卷积学习模块接到编码器与解码器之间的跳连上,无论用ConvBlock、MLPBlock、GatedBlock还是SS2DBlock,GoPro PSNR都从基线的31.96 dB升到32.26 dB以上,而FLOPs只增加约1.32G、显存只增加约1GB。

训练和评测改用多来源数据,并配一条数据剪枝与质量控制流程,把空间错位、真值残留模糊的样本剔除。 此前的方法主要依赖合成的GoPro数据集,它只有3.2K对模糊-清晰图像、33个场景,其中训练对仅2.1K,缺少真实世界的语义和核变化,容易过拟合。 训练语料由GoPro、HIDE、REDS、RSBlur、RealBlur、LOLBlur六个数据集组成,跨域测试用BSD1/BSD2/BSD3、MIORe、VAR-MIORe、FoundIR;在BSD2上UniDeblur-B的CLIPIQA为0.3031、MUSIQ为51.17,高于EVSSM的0.2856和47.88。

启示与展望

报道覆盖的是统一运动去模糊这一任务:一个网络在六个域内数据集上训练,在六个跨域测试集上评测,评测同时报告PSNR、SSIM与无参考的CLIPIQA、MUSIQ。适合关注图像复原、频域方法和跨域泛化的研究人员与工程读者。代码计划在github.com/DeepMed-Lab-ECNU/Single-Image-Deblur发布,测试数据集与实验结果也将整理发布。

跨域评测主要依赖CLIPIQA和MUSIQ这类无参考指标,因为真实场景的真值质量会随曝光时间下降,BSD上真值的MUSIQ从55.05降到49.70。消融显示把傅里叶卷积学习模块的深度从4加到8只带来很小增益,显存却升到46GB。ReLoBlur和RealLOL只作为诊断参考,未进入主实验比较,原因是前者存在色偏和真值残留模糊,后者缺少对应真值且以极暗场景为主。