视频动作识别解释拆成“看什么”和“何时动”：删除AUC在三个数据集上多数轴最低，掩码约稀疏五倍
核心概要
视频动作识别的归因图通常把画面外观与帧间运动混在一张显著性图里，使用者无法判断模型是靠物体还是靠动作做出预测。该工作把解释拆成空间外观掩码与时间运动掩码，在冻结的分类器上联合优化，并用最近帧替换来切断时间动态。在EPIC-Kitchens-55、EGTEA Gaze+与Something-Something V2上，该方法在多数数据集与轴上取得最低的删除AUC，掩码约为最强基线的五分之一大小。
深度剖析
视频动作识别的解释现在可以分成两张掩码：一张标出维持名词判断的画面像素，一张标出维持动词判断的帧。 此前的梯度类与扰动类视频解释方法只输出一张时空掩码，空间像素与时间帧的重要性混在同一张图里，读者无法读出模型依赖的是哪一类证据。 在EPIC-Kitchens-55上，外观删除AUC降到0.10，对比Extremal Perturbation的0.15与STEP的0.23；运动删除AUC降到0.21，对比带时间扩展的Extremal Perturbation的0.50。
两张掩码通过一次组合扰动前向同时作用在冻结分类器上：外观掩码控制像素被模糊还是保留，运动掩码控制帧被替换还是保留。 时间轴上的扰动采用最近活跃帧替换，被冻结的帧复制邻近保留帧的内容，使时间动态归零而不是被削弱；替换源取自已做空间扰动的片段，从而把外观掩码传播到替换目标。 在EGTEA Gaze+、EPIC-Kitchens-55与Something-Something V2上，分别用冻结的TSM与TimeSformer骨干评估，并与STEP、Extremal Perturbation及单掩码消融对照。
外观掩码被限制在时间掩码保留下来的帧上，避免把预算花在模型根本看不到的位置。 没有这一约束时，优化器可以在被替换掉的帧上分配外观预算，而这些位置不会进入模型输入。 分离惩罚项与ReLU上界面积约束共同作用后，外观掩码在EPIC-Kitchens-55上只保留10.3%的像素、运动掩码只保留24.5%的帧，而STEP保留66.1%的像素并使用全部帧。
启示与展望
评估覆盖EPIC-Kitchens-55、EGTEA Gaze+与Something-Something V2三个数据集，骨干为冻结的TSM与TimeSformer，解释对象是已训练好的视频动作分类器，方法本身不改变分类精度。
按外观与运动二分本身有局限，对由音频、注视模式、画外交互或超过8帧的长程交互定义的动作不适用；单头模型依赖光流对齐这一经验性先验，测得的跨轴梯度与目标梯度同量级，说明语义分离是经验结果而非结构保证。