跳到主要内容
返回时间线
arXiv来源发表:

遥感超分不再只看放大倍数:SpatialSR按绝对空间分辨率重建,Vaihingen分割mIoU达66.7

核心概要

遥感图像任意尺度超分此前主要按低分与高分图像之间的相对放大倍数建模,忽略了以米/像素计的绝对空间分辨率这一物理先验,同一倍数下纹理分布可能完全不同。SpatialSR改为以目标空间分辨率为重建条件:先估计低分图像的绝对分辨率并据此算出放大倍数,再用预训练的分辨率到图像扩散模型提供分辨率相关的纹理风格,并把扩散过程压缩成单步训练约束。在Vaihingen数据集0.1米/像素目标、0.5米/像素源分辨率设置下,其分割mIoU为66.7,高于所列对比方法。

Source-provided article image: SpatialSR: Spatial Resolution-Centric Pipeline for Arbitrary-Scale Remote Sensing Super-Resolution
arXiv

深度剖析

遥感超分的目标从相对放大倍数换成绝对空间分辨率,重建图像被要求达到指定的米/像素。 此前的遥感任意尺度超分方法以低分与高分图像之间的相对尺度因子为条件,没有把绝对空间分辨率本身当作重建先验。 同一放大倍数下纹理分布并不相同:4米/像素到1米/像素与0.4米/像素到0.1米/像素都是四倍超分,但高分图像的纹理分布差别明显,频域高频能量分布也不同。

流程先估计低分图像自身的空间分辨率,再据此确定需要放大多少倍。 空间分辨率估计模块SREM用滑窗取候选图像块,按随机、拉普拉斯、哈尔小波三种采样方式各选一部分,拼成通道后送入由ResNet块与VisionMamba块组成的网络预测分辨率。 在MSRUAV验证集上,无人机图像同域测试的估计平均绝对误差为0.0312,判定系数为0.94;跨到卫星图像UCMD时平均绝对误差为0.0487,判定系数为0.88。

扩散模型只用来提供分辨率相关的纹理风格,并以单步约束的形式进入训练,推理时不做迭代采样。 预训练的Stable Diffusion v1.5在分辨率到图像任务上微调,其去噪中间特征按分辨率预先存成查找表,中间分辨率用相邻两项线性插值。 轨迹一致性损失把重建图像对齐到DDPM去噪轨迹的后验均值上;在128×128低分输入的四倍超分下,单步推理耗时0.0074秒,参数量1.76M,FLOPs为51.96G。

启示与展望

演示范围是遥感图像任意尺度超分及其下游语义分割与场景分类:合成场景用重采样图像作参考,真实场景直接处理源图像;下游模型以官方权重零样本应用,不做额外微调。

目标空间分辨率超出预定义范围时方法难以处理,跨传感器场景下分辨率估计精度会因分布偏移而下降;分辨率风格查找表是离散的,中间分辨率靠线性插值近似。