跳到主要内容
检索

# DuoJEPA跨模态翻译方法

1 篇关联报道

订阅更新
  1. arXiv

    两个编码器不再挤进同一空间:DuoJEPA用一层翻译层,胸片零样本AUC从60.0升到86.6

    多模态配对数据通常被用来把两个编码器拉到同一个嵌入空间里。DuoJEPA反过来保留每个模态各自的LeJEPA自监督空间,只在每个编码器后加一层无残差的transformer翻译层,把嵌入译到对方空间,并用完全在目标空间内计算的对比损失训练。在CheXpert Plus胸片与报告上,它的零样本AUC为86.6、跨模态检索分数为78.5,而相同编码器和数据下重实现的LeVLJEPA为60.0和64.2,同时配对余弦检验未检出两个自有空间直接对齐。

已读完全部报道