多模态模型解释不再需要看内部：MultiSHAP把图文交互拆到图像块与词元对
核心概要
多模态模型能答题、能检索，但具体哪块图像与哪个词共同推高某个输出分数，此前难以量化。MultiSHAP用合作博弈论中的Shapley交互指数，在只能查询、不能读取参数或梯度的条件下，为每一对图像块与文本词元估计协同或抑制的二阶交互。在VQAv2的500个样本上，按该矩阵排序删除图像块使目标答案概率平均下降0.1720，而删除排名最低的图像块仅下降0.0032。
深度剖析
多模态模型的输出现在可以归因到具体的图像块与文本词元配对，而不只是整幅图像或整个文本模态。 此前的注意力图与Grad-CAM给出视觉或结构层面的归因信号，但不显式量化单个图像块与词元之间的二阶交互，并且需要读取梯度、激活或注意力权重。 在VQAv2的500个样本上，按MultiSHAP元素排序删除图像块使目标答案概率平均下降0.1720±0.0102，而删除排名最低的图像块仅下降0.0032±0.0022；删除AUC为0.4105±0.0024，随机排序为0.5005。
方法把每个图像块与每个词元视为合作博弈中的参与者，用联合出现与单独出现的分数差来定义这一对的交互。 Shapley交互指数衡量一对元素同时在场时，输出超出两者单独贡献之和的部分，正值表示协同，负值表示抑制。 在VQAv2的视觉问答与Flickr30K的图文检索设定中，分别使用ViLT-VQA与微调CLIP ViT-B/32检查点，图像块被填为0.5中灰、被排除的词元直接删除，每对接受128个联盟样本。
配对层面的检验给出部分支持：估计的交互含有超出两个单模态归因乘积的信息，但并非在所有判据下都优于仅基于显著性的零模型。 在伙伴交换测试中固定图像块、只替换其配对词元，MultiSHAP偏好的配对在71.0%的情况下带来更大的预测变化，校正边际效应后为73.2%。 在Flickr30K-Entities的区域—短语标注上，仅显著性零模型的整体排序AUC为0.653，MultiSHAP为0.612；但MultiSHAP最自信的单个配对更常落在标注对应上，指向游戏得分为0.630对0.470。
启示与展望
演示范围限于可查询的研究模型：VQAv2与GMDB上的ViLT类模型，以及MSCOCO与Flickr30K上的CLIP ViT-B/32；方法要求接口允许分别扰动图像与文本并返回任务相关标量分数，或返回可确定性构造该分数的排序输出。医学案例中文本是同一句固定诊断问题，不含患者个体化表型描述，因此该案例只考察面部区域与固定提示词元之间的交互。作者指出，在商业多模态API上的评估仍属未来工作。
配对级证据被作者描述为部分支持：在效应幅度与区域—短语对应两类判据下，MultiSHAP并未比仅显著性零模型更好地排序全部候选配对。解释对掩码算子敏感，零填充、高斯模糊与[UNK]替换使归因排序的变化超过同一预算下重新播种估计器。三种罕见病队列的MSR与SDR排序仅为探索性观察，未做推断检验，队列在样本量、年龄、祖源与采集条件上未匹配。