遥感超分不再只喂稠密低分图:把目标压成结构槽,UCMerced上PSNR比DiT4SR高2.03 dB
核心概要
遥感图像超分此前把低分辨率观测作为稠密空间条件注入扩散Transformer,前景小目标容易被大面积背景淹没。MOSAIC把退化观测组织成目标级与布局级的紧凑结构槽,跨分辨率融合,并从共享原型记忆中检索反复出现的结构先验,再以轻量残差调制注入冻结的DiT4SR骨干。在UCMerced、AID和RSSCN7上,PSNR在两种倍率下均取得最优,其中UCMerced上比DiT4SR高2.03 dB,AID高4.54 dB,RSSCN7高1.49 dB,并在RSSCN7与AID上取得最低LPIPS。
深度剖析
遥感超分的条件组织方式从稠密低分辨率特征改为紧凑的目标级结构槽,前景目标与结构边界不再被背景稀释。 此前的DiT类方法把低分辨率观测作为稠密空间条件注入,前景对象与占主导的背景纠缠在一起,小目标和结构边界在去噪中被削弱。 在UCMerced、AID和RSSCN7三个数据集、两种倍率设置下,PSNR均取得最优;相对DiT4SR,UCMerced提升2.03 dB,AID提升4.54 dB,RSSCN7提升1.49 dB。
结构槽在原始与缩放两个尺度上提取,粗尺度保留稳定布局,细尺度保留纹理、边界和小目标,二者在槽空间内融合。 单尺度稠密条件只提供一种分辨率的结构证据,固定平均的多尺度组合相比单尺度基线提升很小。 在UCMerced验证集上,完整多尺度融合达到24.2510 dB PSNR、0.6386 SSIM和0.2210 LPIPS,优于仅做跨尺度融合的24.2440 dB。
融合后的槽通过图像引导的原型检索补充被严重退化抹去的图像特有证据,检索结果以残差方式加入而不替换原槽。 图像特有的槽并不显式总结跨样本共享的结构,而直接量化或替换特征会丢弃图像特有细节。 原型记忆由训练槽经KMeans离线构建并保持冻结,仅更新原型交叉注意力投影与SlotFiLM适配器;消融中该模块在此协议下带来0.0079 dB PSNR、0.0002 SSIM和0.0033 LPIPS的额外变化。
增强后的槽经池化与LayerNorm形成全局条件,由SlotFiLM预测逐层通道级缩放与偏移,以残差方式调制冻结的DiT4SR块。 此前缺少把紧凑结构条件注入冻结扩散Transformer的明确路径,稠密单尺度条件保留过多背景信息。 注入位置消融显示,SlotFiLM注入早期与中间DiT块时PSNR最高,为24.2439 dB;零初始化投影使适配器初始接近恒等,残差调制保持DiT的token长度与生成路径。
启示与展望
结果覆盖UCMerced、AID和RSSCN7三个遥感数据集在两种倍率设置下的全参考与无参考指标,其中MANIQA与CLIP-IQA仅在一种倍率下评测。方法面向结构敏感的图像恢复,适配对象是冻结的DiT4SR骨干,原型记忆在训练槽上离线构建后保持冻结,并在适配与推理阶段使用。作者提出,发展动态且更具迁移性的结构先验是后续方向。
原型记忆离线取自训练分布,作者指出这可能限制对未见传感器与退化的适应。无参考的MANIQA与CLIP-IQA结果在不同数据集间有波动,仅保持竞争力。槽数消融中PSNR随取值非单调变化,在所选槽数处达到峰值后下降。
