# 跨模态自监督学习

SAR与光学遥感影像常被当作互为冗余的两路观测，此前的跨模态自监督多在整幅图像层面做对齐，细粒度的互补结构没有被利用。CroCoMAE在ViT架构内同时做图像级对比学习与图块级掩码重建，并把每个图块嵌入切成跨传感器对齐的共享子空间和不受约束的非共享子空间。在EuroSAT-SAR场景分类与DFC2020语义分割两个基准上，它在多数配置中优于单模态自监督基线和重新训练的跨模态框架，语义分割上的提升最大。

SAR与光学遥感影像常被当作互为冗余的两路观测，此前的跨模态自监督多在整幅图像层面做对齐，细粒度的互补结构没有被利用。CroCoMAE在ViT架构内同时做图像级对比学习与图块级掩码重建，并把每个图块嵌入切成跨传感器对齐的共享子空间和不受约束的非共享子空间。在EuroSAT-SAR场景分类与DFC2020语义分割两个基准上，它在多数配置中优于单模态自监督基线和重新训练的跨模态框架，语义分割上的提升最大。