SAR与光学影像不再只对齐整图:CroCoMAE把共享子空间下沉到图块,语义分割提升最明显
SAR与光学遥感影像常被当作互为冗余的两路观测,此前的跨模态自监督多在整幅图像层面做对齐,细粒度的互补结构没有被利用。CroCoMAE在ViT架构内同时做图像级对比学习与图块级掩码重建,并把每个图块嵌入切成跨传感器对齐的共享子空间和不受约束的非共享子空间。在EuroSAT-SAR场景分类与DFC2020语义分割两个基准上,它在多数配置中优于单模态自监督基线和重新训练的跨模态框架,语义分割上的提升最大。
SAR与光学遥感影像常被当作互为冗余的两路观测,此前的跨模态自监督多在整幅图像层面做对齐,细粒度的互补结构没有被利用。CroCoMAE在ViT架构内同时做图像级对比学习与图块级掩码重建,并把每个图块嵌入切成跨传感器对齐的共享子空间和不受约束的非共享子空间。在EuroSAT-SAR场景分类与DFC2020语义分割两个基准上,它在多数配置中优于单模态自监督基线和重新训练的跨模态框架,语义分割上的提升最大。
亚细胞分辨率空间转录组能测到转录本在细胞内的位置,但此前的方法多针对单一分析任务,缺少在细胞类型与组织环境中统一刻画并预测基因胞内定位的框架。SVC 把每个基因在细胞内的空间表达当作一张图像块,用同一细胞的其他基因作为上下文,以自监督掩码方式学习跨基因的空间依赖。在 seqFISH+ 小鼠胚胎成纤维细胞数据上,SVC 对未测基因的亚细胞模式预测在六项指标上均优于四个图像基线,相对更具挑战性的基线组中位提升为 5.2%–21.0%。
作者构建了 95 小时城市步行游览视频数据集 WT++,在严格滑窗、不打乱、不多轮回放的流式设定下评测 MoCo v3、DINO 与 MAE,发现对比与自蒸馏方法明显落后、MAE 更稳健但仍不及 i.i.d. 预训练,并通过受控实验把差距归因于批内高相似度而非批间相似度,进而提出保留 MAE 重建目标、加入流感知正则与运动偏置裁剪的 StreamMAE,使其超过流式基线、追平同数据 i.i.d. MAE,并随预训练流从 12 小时增至 95 小时持续提升。
该研究提出ICHOR,一种基于3D掩码自编码器(ViT-Base编码器加轻量解码器)的ASL脑血流(CBF)图自监督预训练框架,在来自14项研究、多站点多协议的11405例ASL CBF扫描上预训练,并在三项诊断分类任务和一项ASL CBF图质量预测回归任务上评估,结果显示其在四项任务上整体优于BrainIAC、BrainSegFounder和MedicalNet等结构MRI预训练基线。
已读完全部报道