跳到主要内容
返回时间线
arXiv来源发表:

解释图不再只学遮罩:直接优化插入删除曲线,Ra-NEM把忠实度做到0.494且推理最快

导语

一种把插入与删除曲线下面积直接当作训练目标的归因方法Ra-NEM,在ImageNet图像分类器上取得最高平均忠实度0.494,并成为所比较方法中推理最快的一种。

Source-provided article image: For Those Who Believe in Faithfulness: Optimizing the Area Under Insertion and Deletion Curves for Ranking Relative Feature Importance
Fig. 1 · arXiv

正文

归因图的质量现在可以直接按插入与删除曲线来训练,而不必只靠启发式规则生成后再评估。 此前生成归因图的各类方法都没有直接优化插入或删除曲线,忠实度只是事后用来打分的指标。 在ImageNet验证集抽取的1000张图像上,Ra-NEM的平均忠实度为0.494,高于RISE的0.422、NEMt的0.423和IBA的0.455。

做法是把插入曲线改写成对前k个特征的选取问题,再用可微的采样让梯度能穿过这个选取步骤。 直接优化曲线下面积本身不可微,而常用的Gumbel softmax一次只抽一个元素,反复调用在大k下代价过高。 训练时对每个输入随机抽取k并采样Gumbel噪声,用Gumbel top-k技巧一次性取出有序的前k个特征,再套进神经解释掩码框架。

这套目标函数被接进神经解释掩码框架后得到Ra-NEM,掩码网络与NEMt使用相同的U-Net解码块结构。 此前的NEM变体只能判断某个特征是否重要,无法给出特征之间的相对排序。 评测覆盖ResNet50、ConvNeXt、VGG16和ViT四个在ImageNet上预训练的模型,忠实度用1000张图像、鲁棒性与随机化检验用其中100张图像。

接下来

下一步可以把这套目标函数接到其他归因算法上,而不限于神经解释掩码框架,因为损失项本身与具体归因器无关。需要实时或大批量生成解释的场景,例如在线视频分析,可以直接受益于它的低延迟与资源效率。二值掩码让方法有望扩展到文本、图等部分遮挡定义不清的模态,但这一方向尚未在实验中验证。

忠实度分数对扰动方式敏感,噪声、置零与模糊三种扰动下同一方法的分数并不相同,尽管方法排序看起来稳定。Ra-NEM在VGG16上落后第一名RISE 0.139,说明它并非在所有模型上都最优。训练需要比NEMt更长的前期时间,且样本数k越大忠实度越高、训练越慢,这一取舍需要按场景权衡。方法给出的是特征的序数排序,归因值的绝对大小并不对应分类器输出的实际变化量。

来源