跨模态遥感检索不再只给一个点估计：CAPE-JEPA 在 BEN-14K 跨模态方向把 F1@5 提高 13.74 分
核心概要
跨模态遥感检索要在合成孔径雷达与多光谱图像之间找到语义相同的场景，而此前的 JEPA 类方法把被遮挡图像块的潜在表示当作确定值回归，默认每块都同样可预测。CAPE-JEPA 改为输出每块均值和方差的高斯预测器，用负对数似然训练，并加入对抗式跨模态分布正则与训练中对比学习。在 BEN-14K 与 fMoW 上，它在全部八个检索方向上超过包括 X-JEPA、SkySense 和 CROMA 在内的基线，相对 X-JEPA 在 BEN-14K 跨模态方向最多高 13.74 分、在 fMoW 上最多高 15.59 分，参数量为 407.30M 对 432.72M。
深度剖析
跨模态遥感检索的表示现在可以携带逐块的预测不确定性，而不必把每个被遮挡图像块压成一个确定向量。 此前的 X-JEPA 用交叉注意力预测器对每个被遮挡块回归单一潜在点估计，隐含假设所有区域的可预测性相同。 在 BEN-14K 上，CAPE-JEPA 相对 X-JEPA 在 S1S2 与 S2S1 两个跨模态方向分别高出 13.74 和 13.52 个 F1@5 点，在 fMoW 的 RGBSEN 与 SENRGB 方向分别高出 8.16 和 15.59 点。
实现方式是把潜在预测写成条件高斯分布，并让两种模态的嵌入分布彼此靠拢。 预测器输出每个被遮挡块的均值和方差，用负对数似然训练，方差项自动降低云、雷达斑点与混合地类边界等模糊区域的权重。 跨模态正则 XSIGReg 用 Epps-Pulley 特征函数检验寻找两模态分布差异最大的投影方向并加以惩罚，不需要显式样本配对；在 BEN-14K 与 fMoW 的八个方向上，完整目标均取得最高 F1@5。
分布对齐本身会抹平类别区分，因此训练中同时加入场景级对比监督。 消融显示，只有 XSIGReg 而没有 InfoNCE 时，S2S1 方向下降 2.03 分；只有 InfoNCE 而没有 XSIGReg 时，S2S1 下降 8.89 分。 三项损失同时启用时，BEN-14K 的 S1S1、S2S2、S1S2、S2S1 分别为 79.22、80.64、76.48、76.50，高于任一缺项配置。
启示与展望
结果覆盖 BigEarthNet-14K 与 fMoW-Sentinel 两个数据集上的 SAR、多光谱与 RGB 模态，报告指标为 F1@5，并在验证集上按既有协议评测。方法面向跨模态遥感图像检索这一任务，读者对象是从事多传感器表示学习与检索系统设计的研究人员与工程师。
互补掩码在 S2S1 单方向上不如独立掩码，ViT-L 在四个方向中的三个上不如 ViT-B，对齐阶段超过 25 轮后 S2S1 从 76.18 降到 66.92。失败案例集中在斑块尺度上多个语义类别共存的谱段模糊地类边界。