跳到主要内容
返回时间线
arXiv来源发表:

4D点云模型到底看动作还是看形状:冻结动作、抽掉形状,同一只手臂给出两种答案

核心概要

部署前的4D点云动作模型无法说明自己依据的是身体部位怎么动,还是它长什么样。Kinematic Causal Attribution只查询模型输出,用冻结动作和抽掉形状两种干预把每个时空区域的重要性拆成运动项与几何项。在MSR-Action3D上训练的三个官方骨干中,同一只手臂在运动任务与形状任务里的运动占比分别为0.83对0.60、0.86对0.30、0.92对0.61,而模型无关的运动先验在两项任务上给出相同标记。

Source-provided article image: Kinematic Causal Attribution: Black-Box Explanations of Motion versus Geometry for 4D Point-Cloud Video Models
arXiv

深度剖析

4D点云视频模型的解释现在可以回答一个此前无法提出的问题:某个判断依赖的是这块结构怎么运动,还是它每一帧的形状。 此前的3D归因只处理单帧点云,视频归因局限于RGB像素,梯度图需要白盒访问,注意力读出在无注意力的状态空间骨干上不存在,点级扰动还假设跨帧点对应,而深度与LiDAR数据每帧重新采样表面,这种对应并不存在。 在MSR-Action3D上训练的三个官方骨干上,用真实片段构造两个只在同一只右臂的运动或形状上不同的二分类任务,手臂重要性的运动占比随定义线索变化:P4Transformer为0.83对0.60,PSTNet为0.86对0.30,Mamba4D为0.92对0.61,而模型无关的运动先验在两项任务上把手臂标成一样(EBPG 0.28对0.28)。

拆分没有牺牲忠实度:必要性图在删除测试中仍与最强基线相当或更好,并且在权重随机化后失去与训练模型的相关性。 在P4Transformer上,上下文估计器的删除AUC为0.179,低于区域遮挡的0.233和积分梯度的0.282;在PSTNet上为0.217,在Mamba4D上为0.269,与区域遮挡统计上持平。 按Adebayo等人的级联随机化从输出头向下重初始化后,KCA图与训练模型图的秩相关降到0.12,全部模块随机化后为0.10,而GradInput仍保持0.81。

同一份代码可以解释卷积、注意力和无注意力状态空间三类骨干,只通过前向查询工作。 注意力读出只对P4Transformer这类带注意力的模型存在,Mamba4D没有注意力可读。 在单张A100上,局部估计器每个片段耗时0.5秒,上下文估计器2.3秒,与OccAM的1.5秒和积分梯度的1.9秒相当,且不需要反向传播。

启示与展望

演示范围是MSR-Action3D上的动作识别:三个官方骨干均从零训练,使用24帧、每帧2048点的中心片段,真值指标只覆盖骨架完整的275个基准片段。方法面向需要在部署前审计4D点云视频模型的从业者,只通过模型输出查询,不要求点对应。

没有预训练权重,三个骨干均从零训练,PSTNet与Mamba4D的测试精度低于已发表数值;全规模下P4Transformer的运动任务模型在6个训练种子中只有3个脱离随机水平。骨架真值只是近似,标记的是运动发生的位置而非模型应看的位置。区域来自k-means跟踪器,快速或遮挡运动下会漂移,点级图在传感器重采样下不如梯度图稳定。