跳到主要内容
检索

# XSIGReg对抗分布正则化

1 篇关联报道

订阅更新
  1. arXiv

    跨模态遥感检索不再只给一个点估计:CAPE-JEPA 在 BEN-14K 跨模态方向把 F1@5 提高 13.74 分

    跨模态遥感检索要在合成孔径雷达与多光谱图像之间找到语义相同的场景,而此前的 JEPA 类方法把被遮挡图像块的潜在表示当作确定值回归,默认每块都同样可预测。CAPE-JEPA 改为输出每块均值和方差的高斯预测器,用负对数似然训练,并加入对抗式跨模态分布正则与训练中对比学习。在 BEN-14K 与 fMoW 上,它在全部八个检索方向上超过包括 X-JEPA、SkySense 和 CROMA 在内的基线,相对 X-JEPA 在 BEN-14K 跨模态方向最多高 13.74 分、在 fMoW 上最多高 15.59 分,参数量为 407.30M 对 432.72M。

已读完全部报道