跳到主要内容
返回时间线
arXiv来源发表:

MHG-FM 用多模态超图流匹配联合生成脑结构与功能连接,在 HCP-YA 上优于多个基线且采样约快 8 倍

相关研究与后续进展

核心概要

该工作提出多模态超图流匹配(MHG-FM)框架,用模态特异超图与超图神经网络编码器学习高阶表示,经双交叉注意力做双向跨模态融合,再由变分自编码器映射到紧凑隐空间并用条件流匹配实现结构连接(SC)与功能连接(FC)的联合生成与跨模态翻译;在 HCP-YA 数据集上,其在重建质量、拓扑保持、分布相似性和 SC-FC 耦合上优于若干最先进基线,采样速度约为匹配扩散骨干的 8 倍。

Source-provided article image: Structural-Functional Brain Connectivity Generation via Multimodal Hypergraph-based Flow Matching
Fig. 2 ·

Fig. 2 : Ground truth versus generated SC and FC matrices, averaged across all n = 70 n{=}70 test subjects, for MHG-FM (top) and MHG-DiT (bottom). Columns: SC ground truth/generated/residual, FC ground truth/generated/residual.

arXiv

深度剖析

提出 MHG-FM,实现 SC 与 FC 的联合生成与双向跨模态翻译,而非分别独立生成两种连接。 既有方法通常使用仅刻画成对(dyadic)交互的成对图,且往往独立生成 SC 与 FC,限制了高阶结构-功能关系的保持;该工作以超图建模高阶交互并做联合生成。 摘要层面报告在 HCP-YA 数据集上完成实验,并在重建质量、拓扑保持、分布相似性与 SC-FC 耦合上优于若干最先进基线;具体指标数值未在摘要中给出。

以模态特异超图配合超图神经网络编码器学习高阶表示,并用双交叉注意力完成双向跨模态融合。 将高阶关系建模与跨模态双向融合结合,用于 SC-FC 这一对互补模态,而非仅依赖成对图结构。 摘要描述了方法组成(超图构建、HGNN 编码器、DCA 融合),但未提供消融或组件贡献的定量结果。

用变分自编码器把融合表示映射到紧凑隐空间,并以条件流匹配通过隐空间传输实现连接合成与多模态翻译。 把生成与翻译统一到同一隐空间传输过程,摘要称其采样速度约为匹配扩散骨干的 8 倍。 摘要报告约 8 倍加速,属于相对比较;未给出绝对采样时间或硬件设置。

启示与展望

该工作面向需要大规模配对 SC-FC 数据的神经影像研究场景,尤其是神经精神疾病相关研究;其价值在于用生成与跨模态翻译补充数据稀缺,并以约 8 倍更快的采样支持需要大量采样的使用方式。适用对象是从事脑连接组与多模态神经影像建模的研究者,前提是数据与任务与 HCP-YA 的设定相近。

摘要未给出各评价维度的具体数值、HCP-YA 的样本规模、基线清单与统计检验方式,也未说明约 8 倍加速的测量条件;超图构建方式、DCA 与流匹配各组件的独立贡献,以及跨数据集或跨人群的泛化表现,均需在正文中确认。本文档为摘要级材料,未包含图表与实验细节,因此上述内容属于待核实的开放问题。

来源