骨架动作识别不再怕对抗扰动：输入与特征量化成离散码，PGD与SMART攻击成功率降到个位数
导语
在自监督骨架动作识别的对比学习模型上，把输入与特征量化成离散码后，PGD与SMART这类梯度攻击的成功率从接近100%降到个位数，同时分类精度保持在原模型水平附近。
正文
骨架动作识别的自监督对比学习模型在对抗扰动下会大幅失效，而一个可插拔的量化模块把这种脆弱性压了下去。 此前这类模型只被验证过分类精度，其对抗鲁棒性没有被系统考察；现有可用的防御要么是通用防御TRADES，要么是为骨架动作识别设计的监督防御BEAT，把它们接到主流对比学习模型上，鲁棒性提升有限。 在NTU-60、NTU-120和PKU-MMD三个数据集上，把该模块接入SkeletonCLR、AimCLR、ActCLR后，PGD与SMART攻击的成功率在几乎所有场景降到个位数，而原模型上这两种攻击的成功率接近100%。
鲁棒性来自编码管线里的两级量化：输入一进入编码器就被取整到均匀间隔的离散值，特征则被映射到码本中的最近码字。 量化把连续值变成离散码，既打断了梯度回传，也把小扰动吸收进量化区间；但朴素的单码本向量量化会严重损伤表示质量，导致分类精度大幅下降。 为补偿量化误差，特征量化采用注意力引导的多面量化，用多个码本分别对应不同语义面，空间与时间码本分别含512和256个码字；在NTU-60上，该策略下SkeletonCLR、AimCLR、ActCLR的分类精度分别为72.95、76.07和80.85，而单码本朴素量化的第一种实现三者均为1.67，第二种实现分别为42.55、48.65和64.55。
接下来
该模块面向自监督骨架动作识别的对比学习模型，作为可插拔组件接入SkeletonCLR、AimCLR和ActCLR，在NTU-60、NTU-120和PKU-MMD上按跨被试设置评估。接入后每个模型的参数量从1.84M增至5.12M，预训练与线性评估耗时增至三倍，推理耗时同样增至三倍，但仍为每秒433个样本，单张TITAN RTX即可满足显存需求。
输入量化的步长决定输入空间的离散程度，从而同时影响分类精度与鲁棒性：步长减小时分类精度回升、甚至超过原模型，但对APGD-DLR和BASAR的防御随之减弱。消融还显示，单独使用输入量化对PGD和SMART仍很脆弱，单独使用特征量化则挡不住APGD-DLR和BASAR，两级量化的互补性来自它们作用在不同层级。