遥感融合不再只看像素保真:Lance用结构化文本闭环,独立检测器上mAP提高6.4
核心概要
遥感图像融合与语义理解长期分开优化,融合指标好并不保证下游检索和检测能用。Lance把每幅输入映射成由场景、物体、布局组成的封闭词表文本记录,用这段语言条件引导融合,再把融合结果重新描述成文本,以文本一致性和带负查询的文本—掩码对比损失回传梯度。在GF2、QuickBird、WorldView-III、WorldView-II四个传感器七个测试集上,降尺度参考指标相对最强学习基线最高提升11.7%、中位2.1%;用训练时未见的RemoteCLIP和DOTA监督检测器评估,检测mAP@0.5比最接近的对比方法高6.4。
深度剖析
遥感图像融合的输出现在要同时满足像素保真和可被语言查询的语义一致性,而不只是光谱与空间失真小。 此前融合与语义解释通常分开训练,融合目标既不奖励下游可描述性,也不校验输出是否保留输入的语义内容。 在WorldView-III融合输出上,光谱保真统计上难以区分的方法在独立航空目标检测器上相差超过6个mAP点,说明保真指标没有覆盖这部分差异。
闭环由三段组成:先把输入压成伪RGB并检索出一条结构化文本记录,再让融合网络在解码器第2至4层注入这段语言,最后把融合图重新描述成文本并比较两次描述。 重描述环节用可微的连续汇总器替代硬阈值和离散连通域计数,软面积、软计数和质心—离散度描述让梯度能回到融合生成器。 在WorldView-III上,完整闭环的Q2n为0.9166、HQNR为0.9439,逐项加入文本条件、稠密解释器、连续汇总器和两项语义损失时两项指标单调上升。
防止语义信号塌缩靠的是负查询项:除正查询外每幅图再采8个困难负样本,让“全部存在”的常数掩码付出代价。 只用正查询的文本—掩码损失会让平均软面积从第50轮的0.18膨胀到第1000轮的0.71,即典型的塌缩。 加入负查询项后软面积在整个训练中保持在0.14到0.24之间,与常数掩码下梯度符号的分析一致。
启示与展望
演示范围是GF2、QuickBird、WorldView-III、WorldView-II四个传感器的七个测试集,其中WorldView-II作为跨传感器泛化留出;语义评估使用训练时未见的RemoteCLIP和DOTA监督检测器,融合主干为22.9 GFLOPs、0.42M参数,256×256下整条流水线另加14毫秒的语言处理开销。
系统是封闭词表的,状态被限制在12个场景、32个物体和8种布局之内,开放词表F1衡量的是向留出评估器的迁移而非开集识别;缺失类别会映射到最近的词表条目,冻结视觉—语言模型的覆盖范围仍是限制。逐类分析中植被出现−0.009的小幅回退,因为封闭词表文本无法区分森林、农田和草地。
