跳到主要内容
返回时间线
arXiv来源发表:

骨架动作识别装上量化插件:白盒攻击成功率从近100%降到个位数,精度与原模型相当

核心概要

自监督骨架动作识别的主流对比学习模型此前对对抗攻击几乎没有防御,输入或特征上的微小扰动就能让识别结果大幅失效。QCLR把量化做成可插拔模块,在编码流程的输入和特征两级把连续值映射到离散码本,既吸收小扰动又切断梯度传播;在NTU-60、NTU-120和PKU-MMD上接入SkeletonCLR、AimCLR、ActCLR后,PGD与SMART攻击成功率降到个位数,分类精度保持在与原模型相当的水平。

AI-generated editorial illustration: QCLR: A Plug-in Robustification Module via Quantization for Contrastive Learning in Self-Supervised Skeleton-Based Human Action Recognition

深度剖析

骨架动作识别模型在传输骨架数据时暴露于对抗扰动,QCLR把防御做成不改动原训练目标的插件,接入后模型对白盒和黑盒攻击都更稳。 此前没有专门针对自监督骨架动作识别的防御,只能借用通用防御TRADES或监督防御BEAT,而这两者接入主流对比学习模型后提升有限。 在NTU-60、NTU-120和PKU-MMD三个数据集上,把QCLR接入SkeletonCLR、AimCLR、ActCLR,PGD和SMART的攻击成功率从接近100%降到个位数,APGD-DLR也保持最低。

两级量化在编码流程中同时离散化输入和特征,让攻击难以沿梯度方向累积扰动。 单靠输入量化挡不住PGD和SMART,单靠特征量化挡不住APGD-DLR和BASAR,两者互补才覆盖多类攻击。 消融实验显示输入量化把APGD-DLR成功率从99.42%降到59.93%,特征量化把PGD成功率从99.98%降到5.94%,合并后两类攻击都被压低。

注意力引导的多面量化用多个码本分担语义,缓解了向量量化必然带来的表示退化。 朴素向量量化在4096码字上限下要么让对比学习发散、精度接近随机,要么在保持训练连续时仍显著掉点。 在NTU-60上,朴素实现使SkeletonCLR精度降到1.67%或42.55%,而多面量化保持72.95%,高于原模型的68.3%。

启示与展望

评估覆盖NTU-60、NTU-120和PKU-MMD三个数据集,均采用跨受试者设置,训练与测试来自不同受试者。防御在SkeletonCLR、AimCLR、ActCLR三个对比学习模型上验证,推理速度约每秒433个样本,单张TITAN RTX的内存足够运行。

向量量化必然引入量化误差,多面量化只是缓解而非消除;输入量化的步长决定精度与鲁棒性的权衡,步长越小精度越高而防御越弱。黑盒攻击BASAR按设计总能达到100%成功率,因此其效果以生成样本的关节位置、加速度和骨长偏差来衡量。