模型看哪里不等于人看哪里：用眼动热图当基准，Mamba在胸片上定位准却强度对不上
核心概要
一项跨CNN、ViT与Vision Mamba的对比把人类眼动热图当作独立基准，量化模型显著图与人类注视的对齐程度，发现Mamba在胸片任务上定位得分最高，但其显著图强度分布与人类注视几乎不相关。
深度剖析
同一套对齐度量下，三类视觉主干在三个领域表现出不同的注意力形态：卷积网络的空间显著图更弥散，视觉Transformer集中在判别性细节，而Vision Mamba在自然图像与医学图像之间出现分化。 此前的跨架构可解释性比较多依赖专家对热图的定性查看，或把眼动数据当作训练监督信号，因而缺少一个与训练无关的定量参照。 在细粒度鸟类分类CUB-200-2011、胸片MIMIC-CXR和面部表情KDEF-FGD三个数据集上，用GradCAM、ScoreCAM、AblationCAM、ViTLRP和MambaLRP生成显著图，再与眼动仪记录的人类注视密度图比较。
对齐程度被拆成三个互补的估计量：Jensen-Shannon相似度衡量整体分布是否重合，卡方相似度衡量显著质量的差异，皮尔逊相关系数衡量去掉均值后的空间结构是否同向变化。 以往报告常只给一个相似度数值，无法区分“看对了地方”和“看得强弱一致”这两件事。 把归因图与人类注视热图都归一化到概率单纯形后计算，胸片上MambaLRP取得接近最大的Jensen-Shannon与卡方相似度，同时皮尔逊相关系数接近零或为负。
冻结主干会改变解释质量：在胸片测试集上，冻结主干的ViT-base-F的Jensen-Shannon得分高于未冻结的ViT-base，但分类准确率反而更低。 这组对照只改变了训练时可更新的参数集合，因此把主干冻结作为一个受控干预单独隔离出来。 两个ViT变体在相同数据与相同ViTLRP解释方法下比较，对齐度与准确率朝相反方向移动。
启示与展望
该评估面向需要判断模型注意力是否与人类一致的研究者与工程实践者，覆盖细粒度自然图像分类、胸片诊断和面部表情识别三个领域，使用ResNet-50、ViT-Base与ViM-Base三种主干，并公开了代码与全部热图。若要把结论用到新的领域或主干，需要重新采集对应的眼动基准并按同一归一化流程计算。
作者指出，三个数据集的眼动采集设备、采样频率与观察者群体不同，因此注视密度图只在同一数据集内可比，跨数据集不可比。CUB的观察者不具备鸟类学知识，其注视精度依赖所比较鸟种之间的相似程度；KDEF-FGD的注视数据主要来自19至24岁的年轻西方成年人，作者提示文化与年龄会影响面部注视模式。ViM-base配合MambaLRP在胸片上的训练集与测试集结果出现偏移，作者更倾向于把这归因于保持守恒的传播规则在选择性递归上的数值条件，而非分类器过拟合。