# 多模态融合

细胞多模态基础模型通常冻结各模态编码器，只训练一个融合接口，但融合是否真的带来单模态之外的信息一直缺少判据。研究者提出协同信息分数（SIS），以线性探针下融合表示相对最强单模态表示的性能增益来度量可及协同。在肺、胸腺、乳腺三套空间转录组数据上，冗余主导的任务里单模态基线已足够，而分辨率不匹配的胸腺任务中非谱融合方法取得更高SIS。

细胞多模态基础模型通常冻结各模态编码器，只训练一个融合接口，但融合是否真的带来单模态之外的信息一直缺少判据。研究者提出协同信息分数（SIS），以线性探针下融合表示相对最强单模态表示的性能增益来度量可及协同。在肺、胸腺、乳腺三套空间转录组数据上，冗余主导的任务里单模态基线已足够，而分辨率不匹配的胸腺任务中非谱融合方法取得更高SIS。

热带气旋强度预报长期依赖最佳路径数据或静止卫星云图，而相似的云型可能对应增强、维持、减弱三种不同演变，通用融合策略难以区分。TCFNet用气压梯度定义强度趋势，据此挑选对比学习的正样本对，让视觉编码器学到与强度变化一致的云图表示，再用神经常微分方程把状态连续外推到任意预报时刻。在西北太平洋与南太平洋两个盆地的24小时预报中，其气压均方根误差分别为9.52 hPa和7.00 hPa，快速增强识别的临界成功指数为45.26%。

热带气旋强度预报长期依赖最佳路径数据或静止卫星云图，而相似的云型可能对应增强、维持、减弱三种不同演变，通用融合策略难以区分。TCFNet用气压梯度定义强度趋势，据此挑选对比学习的正样本对，让视觉编码器学到与强度变化一致的云图表示，再用神经常微分方程把状态连续外推到任意预报时刻。在西北太平洋与南太平洋两个盆地的24小时预报中，其气压均方根误差分别为9.52 hPa和7.00 hPa，快速增强识别的临界成功指数为45.26%。

结构磁共振的脑区图不再只按一种预设关系连边。MVMGNN把脑区当作节点、影像组学特征当作节点属性，同时构建空间近邻图和特征相似图，并在每个视图内用节点—边联合掩码筛掉冗余特征与弱相关连接，再用患者级跨视图门控融合两路表示。在ADNI队列上，AD与CN分类的准确率由对比方法中表现最好的RSEA-MVGNN的82.06%升到89.90%，F1由75.02%升到86.24%；AD与MCI、CN与MCI两项更难的任务上优势较小。

结构磁共振的脑区图不再只按一种预设关系连边。MVMGNN把脑区当作节点、影像组学特征当作节点属性，同时构建空间近邻图和特征相似图，并在每个视图内用节点—边联合掩码筛掉冗余特征与弱相关连接，再用患者级跨视图门控融合两路表示。在ADNI队列上，AD与CN分类的准确率由对比方法中表现最好的RSEA-MVGNN的82.06%升到89.90%，F1由75.02%升到86.24%；AD与MCI、CN与MCI两项更难的任务上优势较小。

心理压力对话识别此前多把每句话当作独立片段、在最后一层拼接各模态特征，难以刻画情绪在轮次间的累积与转移。BERT-EmoShiftNet把BERT的多层语义编码与EmoShiftNet的情绪转移建模结合，用跨模态Transformer对齐文本、语音和视觉，并在共享嵌入空间做跨模态对比学习。在按对话级切分的自建数据上，全模态五类识别总体准确率为85.0%（95%置信区间[83.2%,86.8%]），情绪转移预测准确率76.2%，平均检测延迟13.4秒。

心理压力对话识别此前多把每句话当作独立片段、在最后一层拼接各模态特征，难以刻画情绪在轮次间的累积与转移。BERT-EmoShiftNet把BERT的多层语义编码与EmoShiftNet的情绪转移建模结合，用跨模态Transformer对齐文本、语音和视觉，并在共享嵌入空间做跨模态对比学习。在按对话级切分的自建数据上，全模态五类识别总体准确率为85.0%（95%置信区间[83.2%,86.8%]），情绪转移预测准确率76.2%，平均检测延迟13.4秒。

可见光与红外图像各自成像机制不同，直接拼接或一次性注意力融合容易把背景纹理和热干扰当成互补证据。FCI-DETR把检测流程拆成融合前保留模态结构、融合中校准跨模态响应、融合后按尺度注入红外上下文三个相连阶段，在M3FD、DroneVehicle、VEDAI和FLIR四个公开数据集上分别取得88.6%、84.3%、86.7%和81.5%的mAP50。在M3FD固定协议下，完整模型比同骨干的RGB+IR RT-DETR基线高6.0个百分点。

可见光与红外图像各自成像机制不同，直接拼接或一次性注意力融合容易把背景纹理和热干扰当成互补证据。FCI-DETR把检测流程拆成融合前保留模态结构、融合中校准跨模态响应、融合后按尺度注入红外上下文三个相连阶段，在M3FD、DroneVehicle、VEDAI和FLIR四个公开数据集上分别取得88.6%、84.3%、86.7%和81.5%的mAP50。在M3FD固定协议下，完整模型比同骨干的RGB+IR RT-DETR基线高6.0个百分点。

北京大学等团队把常规单导联心电与医生撰写的超声心动图报告对齐，训练出可同时识别13种细粒度心脏结构病的筛查框架AnyECG-Echo。此前同类模型多依赖12导联输入，或只在单一医疗系统内验证，且标签需逐病种人工标注。该框架在内部、时间与地理独立外部共25222例验证队列上，对左室收缩功能减低、全心增大、二尖瓣狭窄等高影响亚型取得较高AUROC，并在外部队列中保持可用判别力。

北京大学等团队把常规单导联心电与医生撰写的超声心动图报告对齐，训练出可同时识别13种细粒度心脏结构病的筛查框架AnyECG-Echo。此前同类模型多依赖12导联输入，或只在单一医疗系统内验证，且标签需逐病种人工标注。该框架在内部、时间与地理独立外部共25222例验证队列上，对左室收缩功能减低、全心增大、二尖瓣狭窄等高影响亚型取得较高AUROC，并在外部队列中保持可用判别力。

该研究对拼接架构与原生多模态两类代表性多模态大模型进行三项递进分析（对齐解耦、注意力路由与熵、内在维度）并辅以因果干预验证，发现拼接模型遵循先文本后视觉的融合路径，而原生模型表现出更早的视觉-文本共适应与特征空间重组，为多模态融合提供机制性视角并支持架构感知的表征诊断。

该研究对拼接架构与原生多模态两类代表性多模态大模型进行三项递进分析（对齐解耦、注意力路由与熵、内在维度）并辅以因果干预验证，发现拼接模型遵循先文本后视觉的融合路径，而原生模型表现出更早的视觉-文本共适应与特征空间重组，为多模态融合提供机制性视角并支持架构感知的表征诊断。