遥感超分不再把整幅低清图塞进扩散模型:改成少量结构槽,AID 上 PSNR 比 DiT4SR 高 4.54 dB
导语
遥感图像超分把低清输入从整幅稠密条件改成少量结构槽,并跨分辨率融合、从共享原型记忆取回重复结构,在 UCMerced、AID、RSSCN7 三个数据集上 PSNR 均优于 DiT4SR,AID 上高出 4.54 dB。
正文
遥感图像超分不再把整幅低分辨率图当作条件喂给扩散 Transformer,而是先压成少量结构槽,让前景物体和规则纹理在去噪时不被大片背景稀释。 此前的 DiT 类方法把低分辨率观测作为稠密空间条件注入,前景物体与占主导的背景纠缠在一起,小目标和结构边界在去噪中被削弱。 在 UCMerced、AID、RSSCN7 三个数据集、两种放大倍率下,PSNR 均取得最优;相对 DiT4SR,AID 上提升 4.54 dB,UCMerced 上提升 2.03 dB,RSSCN7 上提升 1.49 dB。
结构槽在原始与缩放两个尺度上提取,粗尺度给出稳定布局,细尺度保留边界、纹理和小物体,两者在槽空间里融合后再送入冻结的扩散主干。 单尺度稠密条件保留过多背景信息,固定平均式的多尺度合并只带来很小改善,学到的跨尺度交互才明显拉开差距。 UCMerced 验证集上,单尺度基线 PSNR 为 24.1520 dB,直接平均为 24.1620 dB,仅跨尺度融合为 24.2440 dB,完整多尺度融合达到 24.2510 dB、SSIM 0.6386、LPIPS 0.2210。
严重退化会抹掉某些物体的图像特有线索,因此从训练槽离线聚类出的原型记忆以残差方式补回重复出现的结构,而不替换当前图像的信息。 图像特有的槽本身并不显式概括跨样本共享的结构,而直接量化或替换特征会丢掉图像特有细节。 UCMerced 验证集上,加入原型记忆条件后 PSNR 从 24.4340 dB 升到 24.4419 dB,LPIPS 从 0.2223 降到 0.2190;该记忆离线构建后保持冻结,适配与推理阶段都使用。
接下来
报道覆盖的是遥感图像超分这一具体任务:在 UCMerced、AID、RSSCN7 三个数据集、两种放大倍率下评估,全参考指标为 PSNR 和 SSIM,无参考的 MANIQA 与 CLIP-IQA 只在其中一种倍率下评估。适配对象是冻结的 DiT4SR 主干,只更新原型交叉注意力与 SlotFiLM 适配器,原型记忆离线构建后保持冻结。适合关注扩散模型适配与遥感图像恢复的研究人员和工程师阅读。
原型记忆离线取自训练分布,作者指出这可能限制对未见传感器和退化的适应,并把动态、更可迁移的结构先验留作未来工作。感知质量方面,MOSAIC 在 RSSCN7 和 AID 上取得最低 LPIPS,但 MANIQA 与 CLIP-IQA 在不同数据集间有波动,只是保持竞争力。消融在 UCMerced 验证集上进行,与测试集上的绝对分数不必一致,不同探索性表格之间的分数也不直接比较。
