# MultiSHAP 跨模态交互解释框架

多模态模型能答题、能检索，但具体哪块图像与哪个词共同推高某个输出分数，此前难以量化。MultiSHAP用合作博弈论中的Shapley交互指数，在只能查询、不能读取参数或梯度的条件下，为每一对图像块与文本词元估计协同或抑制的二阶交互。在VQAv2的500个样本上，按该矩阵排序删除图像块使目标答案概率平均下降0.1720，而删除排名最低的图像块仅下降0.0032。

多模态模型能答题、能检索，但具体哪块图像与哪个词共同推高某个输出分数，此前难以量化。MultiSHAP用合作博弈论中的Shapley交互指数，在只能查询、不能读取参数或梯度的条件下，为每一对图像块与文本词元估计协同或抑制的二阶交互。在VQAv2的500个样本上，按该矩阵排序删除图像块使目标答案概率平均下降0.1720，而删除排名最低的图像块仅下降0.0032。