两个编码器不再挤进同一空间：DuoJEPA用一层翻译层，胸片零样本AUC从60.0升到86.6
核心概要
多模态配对数据通常被用来把两个编码器拉到同一个嵌入空间里。DuoJEPA反过来保留每个模态各自的LeJEPA自监督空间，只在每个编码器后加一层无残差的transformer翻译层，把嵌入译到对方空间，并用完全在目标空间内计算的对比损失训练。在CheXpert Plus胸片与报告上，它的零样本AUC为86.6、跨模态检索分数为78.5，而相同编码器和数据下重实现的LeVLJEPA为60.0和64.2，同时配对余弦检验未检出两个自有空间直接对齐。
深度剖析
配对模态的预训练不再要求两个编码器把同一样本映射到同一坐标，跨模态检索和零样本分类改由一层学到的翻译完成。 此前的对比对齐做法训练两个编码器直到一对样本的嵌入重合，LeVLJEPA这类非对比方法也仍保留共享的预测目标。 在CheXpert Plus胸片与报告上，DuoJEPA的零样本AUC为86.6、跨模态检索分数为78.5，相同编码器和数据下重实现的LeVLJEPA为60.0和64.2，配对自助法区间均不含零。
每个模态各有一个用LeJEPA训练的自监督编码器，编码器之后接一层transformer翻译层，把该模态的嵌入译进另一个编码器的空间。 翻译损失是只在目标空间内计算的InfoNCE对比目标，没有任何一项直接比较两个自有空间，但梯度也回传到目标编码器，因此两个编码器是联合训练的。 在Sentinel-2光学与Sentinel-1雷达影像上，翻译层在4000个候选中找回配对影像的比例为光学到雷达77.3%、雷达到光学79.2%，而两个自有空间互相检索仅0.45%。
翻译层是否带残差连接，决定了跨模态压力被翻译层吸收还是被两个编码器吸收。 标准transformer层把输出加回输入，使翻译层初始时接近恒等映射，损失可以靠把两个编码器挪到一起而降低。 换成带残差的翻译层后，胸片与报告的配对余弦对齐AUC升到97.5，卫星影像的两个自有空间互相检索达64.7%，而所有无残差配置不超过0.53%，跨模态表现相近。
启示与展望
结果覆盖两个模态对：CheXpert Plus的胸片与报告，以及SSL4EO-S12上预训练、在BigEarthNet上评测的Sentinel-2光学与Sentinel-1雷达影像；胸片模型训练2万步、卫星模型训练10万步，各为单次运行。读者对象是从事多模态表示学习与医学影像、遥感应用的研究人员和工程师。
对齐判定依赖配对余弦检验，AUC接近50只说明该检验下检不出直接对齐，并不说明两个空间无关；卫星影像上训练后的翻译层比用8000对拟合的旋转低4到6个检索点，这一差距在自助法区间之外，原因尚未检验。