CARDIAC-FM：整合心电图与心脏磁共振的可泛化多模态基础模型
核心概要
该研究构建了 CARDIAC-FM，一个通过自监督表征学习与跨模态对比对齐整合 12 导联心电图与心脏磁共振的多模态基础模型，在 UK Biobank 的 57,609 例配对样本上预训练，提升了房颤与心衰的预测表现，并在心血管健康研究（CHS）与多种族动脉粥样硬化研究（MESA）两个外部队列中实现零样本泛化，同时可迁移至心脏磁共振表型预测、时间到事件建模及心肌梗死、缺血性卒中、心血管死亡与全因死亡等额外结局。
raw ECG and cardiac MRI inputs (Fig. 1). The cardiac MRI encoder is a new spatiotemporal, multi-view masked autoencoder, pretrained from scratch on raw cine MRI without phenotype or outcome supervision. The encoder jointly processes short-axis, four-chamber and two-chamber views using spatiotemporal masking and a Vision Transformer29 architecture. The resulting cardiac MRI representation is aligned with the pretrained ECG representation in a shared latent space using a symmetric InfoNCE contrastive loss30. The model was trained on 34,596 samples with paired ECG and MRI data. For downstream outcome prediction, we excluded participants with prevalent disease at baseline, added a prediction layer to the learned representations, and fine-tuned the model for 20 epochs using supervised learning. CARDIAC-FM supports two modality configurations, ECG-only and ECG+MRI; either prediction can additionally be combined with a clinical risk score through late fusion. Full methodological details are provided in Methods.
medRxiv · 第 5 页深度剖析
提出并验证了一个整合 ECG 与心脏 MRI 的多模态基础模型，其心脏 MRI 编码器为自监督时空多视角掩码自编码器，仅用原始电影 MRI 重建预训练，不使用表型或结局监督。 相较以往多为单模态、任务特定或聚焦现患疾病的模型，该工作将模态特异自监督预训练与跨模态对比对齐结合，并支持 ECG-only 与 ECG+MRI 两种推理配置。 在 UK Biobank 57,609 例配对高质量样本上预训练，模型代码与权重公开；对比对象包括 ECG-FM、ECGFounder、DeepECG-SL、DeepECG-SSL 四个当代 ECG AI 模型及 CHARGE-AF、PREVENT-HF 临床风险评分，采用统一微调协议与自助法置信区间。
多模态预训练即使仅用 ECG 推理也能提升预测，加入心脏 MRI 后进一步提升；与临床风险评分结合可进一步改善判别能力。 说明 ECG 表征可从 MRI 中吸收信息，且 ECG 与 MRI、ECG 与传统风险因素提供互补的预后信息。 UK Biobank 测试集中，房颤 ECG-only AUROC 0.769（95% CI 0.737–0.801）、AUPRC 0.291；ECG+MRI AUROC 0.816、AUPRC 0.337；心衰 ECG-only AUROC 0.817、AUPRC 0.226，ECG+MRI AUROC 0.830、AUPRC 0.265；与风险评分结合后 CHS 心衰 AUROC 由 0.751 升至 0.792，MESA 由 0.789 升至 0.826。
模型在 UK Biobank 训练后零样本迁移至 CHS 与 MESA 两个独立美国前瞻队列，并在时间到事件建模与额外心血管结局上表现良好。 相较多数仅在单一或高度选择队列中开发的模型，该工作展示了跨人群、跨结局与跨任务形式的迁移能力。 零样本评估中，CARDIAC-FM 在 CHS 与 MESA 的房颤与心衰 AUROC 与 AUPRC 上显著优于四个对比 ECG AI 模型中的三个；UK Biobank 时间到事件 C-index 房颤 0.740、心衰 0.786；在 CHS 与 MESA 用 10% 或 20% 数据微调后，对心肌梗死、缺血性卒中、心血管死亡与全因死亡多数结局取得最高 AUROC 与 AUPRC，MESA 缺血性卒中除外。
ECG 可预测心脏 MRI 结构与功能表型，且这些预测表型保留了与实测表型相似的预后关联。 表明多模态预训练表征可从 ECG 中恢复具有临床相关性的心脏 MRI 信息，在 MRI 不可及时提供替代性信息。 ECG 预测值与直接影像测量相关性为 Pearson r=0.45–0.79，结构指标（LVM r=0.79、LVEDV r=0.72、LVESV r=0.71）高于功能指标（LVEF r=0.49、LAEF r=0.45）；MESA 中预测与实测表型在 28 个表型–结局关联上方向一致，log-HR 的 Pearson 相关 r=0.93，23/28 置信区间重叠。
启示与展望
该框架主要面向以 ECG 为可扩展筛查信号、以心脏 MRI 为开发期丰富信息的心血管风险预测场景，适用于数据可得性不同的临床与人群筛查环境；ECG-only 配置可用于 MRI 不可及或不可行的人群规模应用，ECG+MRI 配置可在个体影像可用时进一步利用受试者特异信息；与 CHARGE-AF 或 PREVENT-HF 等临床风险评分的后期融合可进一步提升判别能力。
模型主要在 UK Biobank 影像参与者中预训练，跨医疗系统、地理区域与临床人群的更广泛评估仍有待开展；零样本评估显示判别能力可迁移，但绝对风险校准在不同队列间存在偏移，经交叉拟合 Platt 重校准后改善，提示临床部署前可能需要本地重校准；ECG 推导的心脏 MRI 表型仅中等程度近似直接测量表型，不应视为心脏 MRI 的替代；判别能力、风险分层与决策曲线净获益的提升本身尚不足以确立临床有效性，仍需前瞻性研究判断其是否改善临床决策与患者结局。