SAR与光学影像不再只对齐整图：CroCoMAE把共享子空间下沉到图块，语义分割提升最明显
核心概要
SAR与光学遥感影像常被当作互为冗余的两路观测，此前的跨模态自监督多在整幅图像层面做对齐，细粒度的互补结构没有被利用。CroCoMAE在ViT架构内同时做图像级对比学习与图块级掩码重建，并把每个图块嵌入切成跨传感器对齐的共享子空间和不受约束的非共享子空间。在EuroSAT-SAR场景分类与DFC2020语义分割两个基准上，它在多数配置中优于单模态自监督基线和重新训练的跨模态框架，语义分割上的提升最大。
深度剖析
SAR与光学影像的跨模态自监督预训练从整幅图像层面的对齐，扩展到同一空间位置上图块与图块之间的对齐，使两种传感器在同一场景内的细粒度互补信息可以被分别表示。 此前的跨模态框架主要通过全局图像级表示对齐两种模态，或把两路观测当作大体冗余，即使把跨模态对比与掩码重建结合也是如此，图块级的跨模态对齐没有被充分探索。 在EuroSAT-SAR场景分类和DFC2020语义分割两个SAR-光学基准上，与在相同数据、ViT-Small骨干和微调流程下重新训练的单模态自监督方法及DeCUR、CROMA等跨模态框架相比，CroCoMAE在多数配置中取得最好结果，且提升幅度在多数配置下超过五次运行的标准差。
每个模态的编码器把图块嵌入对半切开，一半用于跨传感器对齐，另一半不加约束，用来保留各自传感器特有的信息。 共享与非共享的划分沿用子空间分解的思路，但作用对象从全局图像嵌入换成空间局部的ViT图块词元，重建仍按模态各自独立进行。 冻结编码器上的直接测量显示，共配准的SAR与光学图块在共享子空间中平均余弦相似度为0.96（DFC2020）和0.99（EuroSAT-SAR），随机图块对为0.00；在非共享子空间中两者仅为0.01，与随机图块对相当。
图像级对比损失作用在类别词元上，使全局表示对辐射与几何增强保持不变；图块级则由掩码重建和跨模态对比两项损失共同驱动。 三项损失以不加权的方式相加，不需要为平衡各项损失而设置超参数，也不需要按任务调参。 在EuroSAT-SAR上，完整模型在光学和多模态设置下取得最高平均表现，例如1%标签下为96.5/96.0和96.4/95.3；去掉图像级对比项后SAR表现最强，但光学和多模态下降。
启示与展望
评测覆盖EuroSAT-SAR场景分类与DFC2020语义分割两个SAR-光学基准，使用Sentinel-1双极化SAR与Sentinel-2十三波段光学影像，骨干统一为ViT-Small；EuroSAT-SAR采用预训练与微调共享图像的直推设置，DFC2020则在训练划分上预训练、在不相交的验证划分上微调与评估。作者把扩展到RGB-深度或热红外等非遥感模态对，以及更有效地组合图像级与图块级表示，列为后续工作。
共享子空间比例在10%到70%区间内性能变化基本在一个标准差以内，超过70%后SAR表现明显下降，说明对齐所需容量不大但过少留给非共享子空间会损失模态特有信息。默认的50/50划分位于稳定区间，与最佳配置最多相差0.7个点，作者将其定位为与数据集无关的合理选择而非逐基准最优。预训练成本高于CROMA，DFC2020上为34对10 GPU小时，额外开销来自全图前向与稠密图块对比。