跳到主要内容
返回时间线
arXiv来源发表:

归因图不再只靠启发式:直接优化插入删除曲线,Ra-NEM在四类图像模型上平均忠实度最高

核心概要

可解释AI的归因图此前多由启发式方法生成,忠实度只能事后用插入与删除曲线评估。Ra-NEM把这两条曲线的面积写成可微目标,用Gumbel top-k技巧做可微的top-k特征选择,再接入神经解释掩码框架。在ImageNet预训练的ResNet50、ConvNeXt、VGG16和ViT上,它的平均忠实度最高,推理速度也最快,但VGG16上排第五。

Source-provided article image: For Those Who Believe in Faithfulness: Optimizing the Area Under Insertion and Deletion Curves for Ranking Relative Feature Importance
Fig. 1 · arXiv

深度剖析

归因图现在可以直接以忠实度为训练目标来生成,而不只是训练完再拿忠实度打分。 此前的归因方法由启发式规则给出,插入与删除曲线只用于评估,没有方法直接优化这两条曲线的面积。 在ImageNet验证集抽样的1000张图像上,Ra-NEM的平均忠实度在九种方法中最高,与其余方法的忠实度差异经双侧配对Wilcoxon检验统计显著。

做法是把插入曲线改写成top-k特征选择问题,再让这个选择过程可微。 直接优化曲线面积不可微,而常用的Gumbel softmax一次只抽一个特征,迭代k次在大k下代价过高。 Gumbel top-k技巧通过给未归一化对数概率加标准Gumbel噪声后取前k大,一次得到无放回的有序样本,可高效处理高维输入;该算子接入NEM-U后构成Ra-NEM,训练时对每个输入采样六个k值。

训练好的解释模块只做一次前向,因此延迟低。 其他遮挡类方法通常要为每个新输入单独跑一次优化来生成解释。 在RTX4090上,Ra-NEM是所比较方法中最快的,NEMt紧随其后;Ra-NEM在ResNet50、ConvNeXt和ViT上忠实度第一,在VGG16上排第五。

启示与展望

报告面向需要为图像分类模型生成归因图的研究人员和工程师。演示范围是ImageNet预训练的ResNet50、ConvNeXt、VGG16和ViT,评估用1000张验证图像,鲁棒性与随机化指标用其中100张。方法本身只要求被解释模型可微,二值掩码使其原则上可扩展到文本或图等模态,但这一扩展尚未在实验中验证。

忠实度评分对扰动方式敏感,噪声、置零和模糊三种扰动下分数不同,但方法排序在各模型间保持稳定。Ra-NEM是训练得到的方法,多次训练间忠实度最大差异为0.021。训练时采样数k越大忠实度越高、训练时间也越长,存在权衡。在VGG16上Ra-NEM落后第一名0.139,作者认为原因之一是生成归因时不直接在输出上优化。