跳到主要内容
检索

# 对抗鲁棒性

8 篇关联报道

订阅更新
  1. arXiv

    语音分词器成了语义攻击的入口:T-SemAttack 让 9 个 ASR 系统词错率从约 1%–4% 升到 20%–63.6%

    语音分词器把连续语音压成离散标记,是 ASR 与大音频语言模型的前端。T-SemAttack 不攻击整条识别流水线,而是联合扰动多个语义编码器的表示空间,并用心理声学掩蔽约束噪声,使对抗样本在保持可听质量的同时把下游语义编码带偏。在双语多说话人数据上,它把 9 个开源与黑盒 ASR 系统的词错率从干净语音的约 1%–4% 抬到 20.004%–63.555%,并给出以噪声训练加语义蒸馏训练的 ROSETok 分词器。

  2. aclanthology.org

    FOM-UL只改少数层做遗忘:4比特量化下残余记忆仍低于全模型更新基线,保留集效用更高

    大模型遗忘不必再对全模型做弥散更新。FOM-UL按每层遗忘集梯度范数与保留集梯度范数之比给层打分,只更新得分高的少数层,遗忘不达标时再逐层扩大。在TOFU、KnowUnDo与MUSE式评测上,它比GA、NPO、KLD等基线留下更少的残余记忆,保留集效用接近原模型;在8比特与4比特训练后量化下,它保持有利的遗忘—效用权衡,但4比特下残余记忆相对全精度确有上升。

  3. researchsquare.com

    情绪识别机器人被扰动骗过:攻击后准确率跌破0.16,置信度却仍有0.964

    面向人机交互的面部情绪识别通常只看干净测试集准确率,但机器人据此选择动作时,还需要知道预测是否可信。该研究在FER2013五分类上比较五种流程,最强的深度残差网络达到0.760准确率和0.753宏F1,却在梯度攻击下与其他架构一同崩溃:FGSM在ε=0.01时把四个训练模型全部压到0.16以下,PGD在ε≥0.02时接近零。被攻击的预测仍保持高置信,PGD下平均置信度达0.964,温度缩放后仍有96.0%越过0.70阈值,说明按最大softmax概率设阈值无法把合法预测与对抗预测分开。

  4. aclanthology.org

    不训练也能让模型更少顺从有害请求:放大三组内部组件,攻击下安全率从43.2%升到69.7%

    研究把大模型拒答行为拆成一条跨层通路:前中层的“有害检测头”识别输入中的有害词,中后层的“安全神经元”在残差流中传递并稳定这一信号,后层的“拒答头”据此生成拒绝。对这三类组件做不改变架构的权重缩放后,六个模型在GCG攻击下的平均安全率从43.2%升到69.7%,四个标准基准上的平均准确率只下降1.7%。

  5. arXiv

    决策模型被改一个字符就改选:30个文本模型、17个视觉模型接受同一批攻击候选

    DecisionRobust把JEV式决策模型放到文本与图像扰动、提示注入下评测,30个文本模型和17个视觉模型接受同一批候选,未参与候选筛选的留出模型同样出错,而标签一致性检查把表观攻击成功率大幅压低。

  6. Scientific Reports

    入侵检测不再只靠统计相关:因果图加熵压缩,78维流量压到18维,准确率97.4%

    一个把因果图、熵压缩、注意力融合、对抗校准和联邦聚合串成一条流水线的入侵检测框架,在CICIDS2017上把检测准确率做到97.4%,同时把输入特征从78维压到18维。

  7. arXiv

    骨架动作识别装上量化插件:白盒攻击成功率从近100%降到个位数,精度与原模型相当

    自监督骨架动作识别的主流对比学习模型此前对对抗攻击几乎没有防御,输入或特征上的微小扰动就能让识别结果大幅失效。QCLR把量化做成可插拔模块,在编码流程的输入和特征两级把连续值映射到离散码本,既吸收小扰动又切断梯度传播;在NTU-60、NTU-120和PKU-MMD上接入SkeletonCLR、AimCLR、ActCLR后,PGD与SMART攻击成功率降到个位数,分类精度保持在与原模型相当的水平。

  8. arXiv

    Qwen2.5-VL-7B 在 200 张 COCO 图像上出现“训练/推理鸿沟”:目标 token 排名在每一步固定为 3,488,语言解码器而非视觉编码器决定是否被攻破

    作者在 Qwen2.5-VL-7B-Instruct 上用两阶段 PGD 攻击 200 张留出 COCO 图像,发现定向扰动可把固定目标描述的教师强制训练损失压到接近零,但自由生成仍输出原本正确的描述,并将这一“训练/推理鸿沟”定位到单个自回归步(目标 token 排名恒为 152,064 词表中的第 3,488 位、零方差),进一步追踪 28 层解码器显示视觉编码器对所有图像造成相近程度的表示破坏,而语言解码器对易感图像放大、对抵抗图像主动抑制该信号(p<0.001,rank-biserial r=0.579)。

已读完全部报道