多模态协同在缺模态时会反噬：Lluna把私有预测留在直连路径，八个数据集平均提升4.26%
核心概要
多模态协同在模态缺失时可能不如单个存活模型准确，Lluna把每个单模态模型的直接预测保留为私有路径，再用图上的公共分支做残差修正，并沿单模态移除链让信息更全的状态指导更少的状态。在情感计算、场景理解和医学预测的八个数据集上，非完整输入状态的平均表现比最强基线平均相对提升4.26%，最小输入下八个任务的协同增益均为正。
深度剖析
模态逐个消失时，多个预训练单模态模型之间的协同收益会缩小，甚至转为负值，此时一个输入未变的存活单模态模型反而更准。 此前的缺模态方法大多训练单个多模态预测器，用模态丢弃、可用表示聚合或共享-特异建模来应对缺失输入，协同本身在缺模态下是否仍然有利并未被单独检验。 在情感计算、场景理解和医学预测三类任务上，固定存活模型作为锚点后，协同增益随模态移除而下降，并在部分任务上变为负值。
Lluna让公共协同只做修正而不替代单模态证据：每个模型经适配器给出直接预测，公共分支在按预测一致性加权的兼容图上传递消息，输出一个带学习缩放系数的残差。 特征探针显示，模态特异信息在协同之后更难被线性解码，因此公共分支被设计为对私有预测的残差修正，而不是取代它。 训练时沿单模态移除链做渐进协同一致性，让信息更全状态的归一化公共表示指导相邻的更少状态，任务监督则让整体预测适配当前可用证据。
在八个数据集上，Lluna在每一个任务上的非完整输入平均表现都优于所评估的最强基线。 对比覆盖通用协同方法、缺模态方法和Omni模型三类基线，并与Lluna共享同一冻结模型池、相同特征、数据划分和模态可用掩码。 非完整状态平均相对提升为4.26%；例如WorldSense准确率从30.73%升到33.90%，SIMS平均绝对误差从35.90降到34.24。
在固定锚点的协同诊断中，最小输入下Lluna在全部八个任务上保持正的协同增益。 同一诊断下，七个基线的等权平均增益从完整输入到最小输入在八个任务上均下降，并在其中六个任务的最小输入处为负。 该诊断固定每个模态的存活单模态锚点，在保留该模态的所有可用状态上比较协同预测与锚点的准确率之差。
启示与展望
评估覆盖八个数据集，分属情感计算、场景理解与医学预测三类任务，缺模态以整模态受控移除、可用状态已知的方式构造。协同模块针对一组指定的冻结模型训练，池规模与替换实验都是在重新训练协同模块之后比较。
评估集中在整模态受控移除，部分损坏、时间错位以及与样本特征相关的自然缺失仍需另行评估。模型池变更后需要重新训练协同模块，能否在不重训整个协同模块的情况下支持池变化仍是待探索方向。协同增益是数据集层面的平均，单个锚点与视图的比较仍可能为负。