细胞多模态基础模型不再只求对齐:新指标显示,只有跨模态互补才值得融合
核心概要
细胞多模态基础模型通常冻结各模态编码器,只训练一个融合接口,但融合是否真的带来单模态之外的信息一直缺少判据。研究者提出协同信息分数(SIS),以线性探针下融合表示相对最强单模态表示的性能增益来度量可及协同。在肺、胸腺、乳腺三套空间转录组数据上,冗余主导的任务里单模态基线已足够,而分辨率不匹配的胸腺任务中非谱融合方法取得更高SIS。
深度剖析
判断多模态融合是否值得,可以看融合表示在固定线性探针下能否超过最强单模态表示,而不是只看F1或R2是否更高。 此前标准下游指标只反映预测准确率,无法区分提升来自共享冗余信息还是来自跨模态互补信息。 在肺、胸腺、乳腺三套空间转录组数据上,用冻结的UNI-2组织学编码器与Nicheformer基因表达编码器配对,比较十种融合接口与单模态基线。
做法是把融合增益写成一个相对量:融合表示相对最强单模态表示的性能提升比例,正值为可及协同,接近零或负值表示冗余主导或融合退化。 该量借助部分信息分解中的最小互信息假设,把较弱模态的信息视为与较强模态冗余,从而得到保守估计。 实际计算用线性探针在冻结表示上估计,分类任务用F1 Macro、回归任务用R2,并报告自助法置信区间与配对Wilcoxon检验。
融合的价值随任务的信息结构变化:局部对应紧密时简单拼接已接近上限,空间歧义增大时学习非线性交互的接口才显出优势。 在胸腺数据上,Visium的基因表达覆盖跨多个细胞的粗斑点,与精细组织学存在分辨率错配,此时非谱方法DCCA和CoMM的SIS分别为0.142和0.120,高于拼接的0.072和CCA的0.057。 肺数据集上邻居细胞类型组成回归的SIS随中心斑块到邻居斑块距离从约0升至0.15以上,而邻居生态位分类的SIS基本持平。
启示与展望
结论建立在冻结单模态编码器加学习融合接口、并用线性探针评估的设定上;谱上限的分析明确限定在线性融合映射与冻结编码器范围内,作者也指出端到端训练会改变跨模态表示的几何。评估覆盖肺纤维化、胸腺发育和乳腺癌三套空间转录组数据,任务包括生态位分类、细胞类型组成回归、空间邻居预测以及空间与生态位一致性。
SIS依赖探针类别,此处度量的是线性可及的协同,作者明确称其为任务信息状态的诊断而非规定性标准。在强模态不平衡下SIS偏保守,负值只说明融合未超过主导专家,不说明较弱模态没有生物学信息。作者还指出,五种评估折下相近融合方法之间的细微排名差异并不各自显著,且多组学上的应用仍属初步探索。
