跳到主要内容
返回时间线
arXiv来源发表:

位置编码器只能吃一张卫星图:先让雷达与光学对齐,17项任务赢下68.8%对比

核心概要

地理坐标编码器此前只能对齐单一冻结影像编码器,扩展到雷达与光学两种传感器时缺少共同目标。LoCA分两步:先用对比损失联合训练Sentinel-1与Sentinel-2编码器,得到对齐且高秩的目标;再冻结二者,训练位置编码器和元数据编码器去适配。在17项下游任务上,LoCA取得最多任务第一,并在全部逐任务对比中赢下68.8%。

AI-generated editorial illustration: LoCA: Enabling Multi-Modality in Geospatial Location Encoders

深度剖析

位置编码器现在可以同时对齐雷达和光学两类卫星影像,而不只是单一光学影像。 此前的SatCLIP、GeoCLIP一类方法冻结一个预训练影像编码器,只拟合坐标到该固定点云的反向映射;两个独立预训练的编码器并不共对齐,单个位置函数无法同时拟合两者。 在覆盖土地覆盖、野火预报、地球物理、社会经济、生物多样性与气候的17项任务上,LoCA在8项排名第一、11项进入前二,是唯一在多数任务上胜过其他每个模型的编码器。

做法是把目标空间先造好,再让坐标去索引它。 第一阶段用DHEL对比损失联合训练Sentinel-1与Sentinel-2编码器,使配对输入在损失最优处落到同一点,并保持较高的有效秩;第二阶段冻结这两个编码器,各接一个投影适配器,用多视图MV-DHEL训练位置编码器与处理14个表格变量的元数据编码器。 在343928个全球网格位置上,LoCA的有效秩达到158维中的62%,约为Copernicus-FM的20.6%的三倍;而从零联合训练的SatCLIP有效秩只有8。

去掉第一阶段会直接破坏多模态目标。 把联合训练的S1、S2编码器换成两个独立MoCo预训练编码器后,第二阶段拿不到共对齐的多视图目标。 此时reBEN的micro-F1从58.3降到53.6,五个气候排序任务的成对准确率落在49.6%到50.6%之间,接近随机排序。

启示与展望

演示范围是坐标索引的全球位置嵌入:预训练用10万对Sentinel-1与Sentinel-2影像及14个静态元数据变量,下游评测在冻结嵌入上训练线性探针、MLP或LightGBM排序器。作者提出后续可加入时间信息、气象变量与更多土地覆盖元数据。

模型没有时间维度,季节与更短期的动态只能被间接捕捉;第一阶段只用了Sentinel-1与Sentinel-2两种传感器;作者指出基于坐标的基准对空间自相关敏感,分块或留区域评估仍是后续方向。