视觉语言模型的归因不再只看整张图：MOSAIC把影响拆到短语和图像区域

视觉语言模型的训练数据归因从整张图或整条样本，细化到样本内部的短语与图像区域。 此前的数据归因方法把图像当作一个整体，只能回答哪个训练样本有影响，无法说明影响经由哪个概念、出现在图像何处。 在Qwen与Gemma两个模型家族、图像描述、胸部X光理解与视觉问答三类任务上，学习到的隐特征在保持任务表现的同时，视觉覆盖范围明显收缩。

共享的稀疏隐空间同时容纳图像与文本表示，使同一组特征坐标可以对应到短语和图像区域。 现有多模态稀疏自编码器能给出可解释的图像—文本特征，但不是为训练数据归因设计的，缺少位置分辨与短语—区域对应。 方法先用TopK字典学习共享表示，再通过区域分组与排他稀疏约束让视觉特征集中在连贯区域，并用冻结模型的短语—图像块注意力作为对应信号做短语—区域对齐。

影响排序得到的隐特征比按激活强度或激活频率排序的特征更能左右模型输出。 按激活强度、激活频率或随机排序挑选特征时，移除这些特征对预测的扰动明显更小。 在GQA上使用Gemma时，移除影响排序最高的256个隐特征使预测翻转的比例高于按激活强度排序的情形，且该趋势在多个数据集与模型上一致。

去掉图像后，训练样本层面的归因排序被大幅重排，而隐特征层面的排序仍保持正相关。 此前无法区分视觉证据改变的是训练样本支持，还是承载影响的概念本身。 在六个模型—数据集设置中，隐特征影响的Spearman相关最高可达正值，而样本层面的相关最低降至很低的水平。

该工作面向需要审计视觉语言模型预测的研究者与工程师，适用场景是图像描述、胸部X光理解与视觉问答三类任务，模型规模约为二十亿参数，全部实验在单张GPU上完成。方法在选定中间层插入稀疏自编码器，归因结果依赖该层的表示质量与字典容量。若读者要跟进，可关注作者提出的多层或层级隐空间、不依赖注意力的对齐目标，以及用重训练影响做更强验证的方向。

隐特征可能仍部分纠缠，归因结果会随所选层与字典容量变化；短语—区域对齐依赖预训练注意力作为对应信号，该信号可能带有噪声或不完整；EK-FAC与隐介导影响都是对完整重训练效果的近似。作者还报告，把稀疏自编码器从第19层移到第12层会使GQA准确率大幅下降，说明层位置对表示保真度影响明显。