跳到主要内容
检索

# 掩码自编码器

7 篇关联报道

订阅更新
  1. arXiv

    AudioSphere 用多声道自监督学出空间音频表征:冻结骨干首次直接做真实场景声事件定位

    AudioSphere 把自监督音频预训练从单声道扩展到多声道:以 Ambisonics 格式的四声道录音为输入,用掩码自编码器同时重建频谱与强度矢量,使冻结骨干在浅层探针下即可完成真实场景的声事件检测与定位。此前单声道模型对空间结构不可见,而空间模型依赖片段级监督。在 HEAR 上该模型聚合得分 83.2,并同时支持帧级定位。

  2. arXiv

    雷达原始频谱不再先压成点云:L-SPMAE 自监督预训练让通用检测器在 K-Radar 上超过雷达专用检测器

    雷达三维感知长期先把原始频谱压成稀疏点云或紧凑多普勒统计量,再交给监督学习。L-SPMAE 改用掩码自监督:把在局部破坏下仍可重建的部分视为信号,并用频谱泄漏模拟这种破坏,直接从未压缩的雷达频谱预训练。在 K-Radar 上,采用 RAD 表示的 L-SPMAE 微调后 mAP 达 55.9/50.1,高于表中点云自监督基线的最佳 50.8/45.0。

  3. medRxiv

    胎儿超声早筛不再依赖海量标注:RadarMAE用雷达式掩码预训练,跨院指标下降不超过0.04

    早孕期唐氏筛查的超声图像分辨率低、结构差异大,而罕见异常病例稀少,使常规自监督预训练难以奏效。RadarMAE改用同心圆环与角度扇区交替遮挡的雷达式掩码,迫使网络学习颅面结构的连续曲率与细长形态,在内部队列上取得AUC 0.99、准确率0.97。配合域对抗适配,模型在四家外部医院仅用无标注图像校准,关键指标相对内部的下降被限制在0.04以内。

  4. arXiv

    不靠轨迹也不靠卫星图:只用人口与商业结构,把全美105万个网格压成256维向量

    PlacePulse 只用人口、商业与环境等静态结构属性,把美国 1,055,537 个 H3 分辨率 7 网格压成 256 维单位范数向量,在 74 个外部目标上超过同维度的特征选择基线,并在健康与经济结果上领先 Google 的人口动态基础模型。

  5. arXiv

    TotalFM 用器官分离的 3D-CT 基础模型在零样本病灶分类中于 83%(25/30)的征象类别上超过 Merlin,并以 32 batch/GPU 的批量效率训练

    该研究提出 TotalFM,一个基于器官分离思路的 3D-CT 放射学基础模型:它用 TotalSegmentator 与 LLM 自动构建约 34 万个器官级“体积—文本”配对,先以 VideoMAE 自监督预训练、再做器官级对比学习,在零样本器官级病灶分类中平均 F1 达 0.708(CT-CLIP 为 0.515、Merlin 为 0.650),在 83%(25/30)的征象类别上 AUROC 高于 Merlin,并在报告生成上取得与 Merlin 相当的表现,同时把批量效率提升到 32 batch/GPU。

  6. arXiv

    PIRTA 用图像域检索加文本域增强,让 3D 脑 MRI 报告在跨院数据上把缺血区域准确率最高提升 57.2 个百分点

    该研究提出 PIRTA,一种检索增强生成框架:用大规模 MAE 自监督预训练的 3D ViT 编码器在图像域检索相似的 3D DWI/ADC 体积,再以这些病例配对的临床医生撰写报告作为证据增强 LLaMA3-8B-Instruct 生成报告,从而绕开显式图像—文本对齐;在 1,831 例多机构内部队列、580 例隐私保护外部队列和 206 例公开 ISLES 基准上,PIRTA 取得较强图像域检索性能(内部 mAP@1 94.0%),并在缺血区域准确率这一事实性替代指标上持续优于直接图像到文本的 2D 基线,多分类准确率分别领先最强 2D 基线 +57.2 / +34.5 / +30.6 个百分点。

  7. medRxiv

    CARDIAC-FM:整合心电图与心脏磁共振的可泛化多模态基础模型

    该研究构建了 CARDIAC-FM,一个通过自监督表征学习与跨模态对比对齐整合 12 导联心电图与心脏磁共振的多模态基础模型,在 UK Biobank 的 57,609 例配对样本上预训练,提升了房颤与心衰的预测表现,并在心血管健康研究(CHS)与多种族动脉粥样硬化研究(MESA)两个外部队列中实现零样本泛化,同时可迁移至心脏磁共振表型预测、时间到事件建模及心肌梗死、缺血性卒中、心血管死亡与全因死亡等额外结局。

已读完全部报道