敦煌壁画修复改在频域做扩散:PSNR 32.04 dB,推理从35.31秒降到9.56秒
核心概要
敦煌壁画的数字修复不再只在像素空间里逐点去噪。像素域扩散要同时兼顾整体结构与局部笔触,代价高,还容易在颜色和风格上偏离原作。WDCRF 先用二维离散小波变换把受损壁画拆成一个低频子带和三个高频子带,再让条件扩散模型直接在小波域重建这四组系数,以受损系数本身作为条件信号,最后经逆小波变换合成完整画面。在敦煌壁画数据集上,总 PSNR 为 32.04 dB、SSIM 为 0.922,优于 EdgeConnect、WaveDiff、PGRDiff 与 LRDiff;在 DhMurals 数据集上总 PSNR 为 18.95 dB、SSIM 为 0.7598。
深度剖析
壁画修复的生成过程从像素空间搬到了小波域,扩散模型不再直接处理原始分辨率图像。 此前的扩散类壁画修复方法主要在像素域运行,迭代去噪要在同一高维空间里同时完成全局结构推理和局部纹理合成。 在敦煌壁画数据集上,小波域方案的总 PSNR 为 32.04 dB、SSIM 为 0.922,高于 PGRDiff 的 26.44 dB 与 0.763、URDiff 的 26.29 dB 与 0.763、WaveDiff 的 27.98 dB 与 0.811、LRDiff 的 28.47 dB 与 0.791。
受损壁画先被拆成低频与高频成分,再由同一个条件扩散模型统一重建。 小波类方法擅长频率分解和噪声抑制,却缺少为大面积破损合成合理内容的能力;扩散模型生成能力强,但直接用于高分辨率壁画时算力和显存开销大。 单级二维离散小波变换把输入分成一个低频近似子带 A 和垂直、水平、对角三个高频细节子带 V、H、D,每个子带的空间尺寸在每一轴上减半,受损系数作为条件信号引导反向去噪,重建后的系数经逆小波变换回到空间域。
小波域扩散在结构指标和感知指标上同时取得最好或接近最好的总成绩。 像素域基线在相同 U-Net 主干和训练设置下运行,作为对照给出频率域设计带来的差距。 消融实验中,空间域 DDPM 变体的 PSNR 为 29.20 dB、SSIM 为 0.898、推理时间 35.31 秒,完整 WDCRF 为 32.04 dB、0.922 和 9.56 秒;在 DhMurals 数据集上总 PSNR 为 18.95 dB、SSIM 为 0.7598、LPIPS 为 0.2078、FID 为 85.360。
启示与展望
报告覆盖的是敦煌壁画数据集与 DhMurals 数据集上的修复实验,输入统一缩放到 512×512 像素,评价指标为 PSNR、SSIM、LPIPS 和 FID。适用读者是从事图像修复、生成模型或文化遗产数字化的研究人员与工程师,关注点在于频域生成能否在保持结构的同时降低单步去噪的空间维度。训练使用 8 块 TITAN V GPU,作者说明模型也能在单块 GPU 上运行;推理采用 100 步 DDIM 采样,训练时扩散步数为 1000。
在 DhMurals 数据集的严重破损区间(缺失比例不低于 40%)上,CMAMRNet 的 PSNR 为 17.31 dB、SSIM 为 0.6819,WDCRF 为 16.67 dB 和 0.6860,作者说明 CMAMRNet 在大面积缺失下略优,而 WDCRF 取得最好的总体平均。在敦煌壁画数据集 10%–20% 与 20%–30% 缺失区间,CMAMRNet 的 PSNR 分别为 29.30 dB 和 28.77 dB,高于 WDCRF 的 27.96 dB 和 26.35 dB。这些区间差异说明优势随破损程度变化,报告未给出跨数据集之外的验证。
