跳到主要内容
检索

# 跨模态对齐

9 篇关联报道

订阅更新
  1. arXiv

    SWAM把视频先验接到机器人动作上:随机场景成功率61.56%,超过OpenWAM 12.86个百分点

    上海交通大学等机构构建约4.7万小时多源数据池,把预训练视频模型的语言—视频先验延伸到语言—视频—动作学习,形成世界动作模型SWAM。在RoboTwin 2.0的50个操作任务上,SWAM在随机化Hard设置下成功率为61.56%,比最强基线OpenWAM高12.86个百分点;在干净Easy设置下为88.10%,略低于OpenWAM的89.30%。真实双臂平台上,三个任务平均Hard成功率40.00%,OpenWAM为23.33%。

  2. researchsquare.com

    医学CLIP不再只认高层语义:拆出纹理与属性两条支路,多异常检测准确率提升10.2%

    医学CLIP此前主要对齐高层语义特征,对纹理、实体顺序和属性这类低层信息捕捉不足,在细粒度任务上受限。Deco-CLIP把图像与文本各拆成两条支路:一路用CT-CLIP预训练的ViT提取语义,一路用MAE预训练的ViT提取纹理,文本编码器后三层分叉并共享键值、使用不同查询,再配合阈值自适应样本挖掘与正则化注意力。在CT-RATE的零样本任务上,多异常检测准确率提升10.2%,报告到体数据检索召回率提升16.2%。

  3. arXiv

    软体抓取有了六模态数据集:冻结编码器在独立抓取结果集上后验分类达94.59%

    软体机器人抓取缺少同时协调视觉、深度、触觉、惯性测量与文本的多模态数据,且现有对齐方法对所有模态对使用同一强度。SomaAlign 先用掩码重建估计各模态的相对可靠性,再据此为每一对模态设定不同的对比温度,并在第三阶段用冲突感知约束收紧样本内跨模态一致性。在 Soma 数据集上,30 个有向跨模态检索任务的平均 Recall@10 为 90.66%;在独立采集、未参与表征学习的 Soma-Success 上,冻结编码器加轻量探针的后验抓取结果分类准确率为 94.59%。

  4. arXiv

    PEACE 首次实现 DSP 效果器代码与音频的联合嵌入,在混响检索上以 53.5% R@10 超过预训练 AFx-Rep 的 28.3%

    该工作提出 PEACE,首个将 Faust 效果器代码与处理后音频映射到同一空间的联合嵌入:音频端沿用 AFx-Rep,代码端分别采用微调 T5 与在 Faust 编译器 Box API 中间表示上运行的消息传递图神经网络 BoxGraph,用 SLAP 的非对比式 BYOL 目标训练;在 20 万训练对、21 种 Faust 效果器、1–3 级串联链上,两种代码编码器在混合长度链检索上大致持平,T5 在单效果器画廊与更长链上略优,BoxGraph 在参数全掩码的链拓扑检索中更强(17.4% 对 12.4% R@1),并在训练中未见的专业插件混响基准上取得 53.5% R@10,高于预训练 AFx-Rep 的 28.3%。

  5. arXiv

    RCML 将语义关系作为显式条件,使同一样本在不同关系语境下获得不同多模态表示,并在检索与分类的零样本、微调与域外设置中稳定优于强基线

    该工作提出关系条件化多模态学习(RCML),把自然语言关系描述作为多模态表示学习的显式条件,通过构建关系感知训练对、引入关系条件化模块并采用统一对比目标联合建模跨模态对齐与关系诱导的样本间结构,使同一样本在不同关系语境下可被表示为不同嵌入;在多个数据集上的实验显示,RCML 在零样本、微调与域外设置下的检索和分类任务中持续优于强基线。

  6. arXiv

    综述把视频-音频联合生成、跨模态生成与联合编辑统一到同一分布上,并首次系统梳理出九类、28种联合音视频编辑

    这篇综述指出视频与音频虽被共同感知、但多数生成模型仍各自独立处理,于是把联合生成、跨模态生成(由一方生成另一方)与联合编辑三类问题统一定义为同一个音视频对分布上的问题,围绕“输出如何在时间与语义上保持跨模态一致”这一核心问题,提出沿生成策略、音频表示、视频表示、对齐施加方式、预训练复用五个设计轴的分类体系,并首次系统梳理联合音视频编辑,将其映射为九类编辑、28种编辑类型,同时整理各设定下的方法、数据集与指标,最后给出长时程一致性、细粒度控制、物理合理性与评测等开放问题。

  7. arXiv

    MPFlow用辅助MRI模态在推理时引导整流流先验,以20%采样步数达到扩散基线质量并将肿瘤幻觉Dice降低15%

    该工作提出MPFlow,一个基于整流流的零样本多模态MRI重建框架,通过自监督预训练策略PAMRI学习跨模态共享表征,在推理时用数据一致性与跨模态特征对齐联合引导无条件先验,在HCP的T2 4倍超分辨与BraTS的FLAIR 8倍k空间重建上,以仅20%的采样步数匹配扩散基线的图像质量,并将肿瘤分割Dice提升15%、SHAFE幻觉分数降低26%。

  8. 多模态人工智能驱动耳鼻咽喉疾病精准诊疗:关键挑战与未来方向

    本文结合耳科、鼻科、咽喉科及头颈肿瘤的诊疗特点,总结多模态人工智能在耳鼻咽喉头颈外科的代表性应用,重点分析数据标准与跨模态对齐、模态缺失与模型泛化、隐私保护与多中心协作、可解释性、临床证据及工作流程整合等转化问题,并提出建立符合我国临床实践的专科数据标准、构建分阶段多中心验证体系、形成受专科医师监督的人机协作模式,审慎推动通用与专科大模型向多模态临床应用拓展。

  9. medRxiv

    CARDIAC-FM:整合心电图与心脏磁共振的可泛化多模态基础模型

    该研究构建了 CARDIAC-FM,一个通过自监督表征学习与跨模态对比对齐整合 12 导联心电图与心脏磁共振的多模态基础模型,在 UK Biobank 的 57,609 例配对样本上预训练,提升了房颤与心衰的预测表现,并在心血管健康研究(CHS)与多种族动脉粥样硬化研究(MESA)两个外部队列中实现零样本泛化,同时可迁移至心脏磁共振表型预测、时间到事件建模及心肌梗死、缺血性卒中、心血管死亡与全因死亡等额外结局。

已读完全部报道