语音分词器成了语义攻击的入口：T-SemAttack 让 9 个 ASR 系统词错率从约 1%–4% 升到 20%–63.6%
核心概要
语音分词器把连续语音压成离散标记，是 ASR 与大音频语言模型的前端。T-SemAttack 不攻击整条识别流水线，而是联合扰动多个语义编码器的表示空间，并用心理声学掩蔽约束噪声，使对抗样本在保持可听质量的同时把下游语义编码带偏。在双语多说话人数据上，它把 9 个开源与黑盒 ASR 系统的词错率从干净语音的约 1%–4% 抬到 20.004%–63.555%，并给出以噪声训练加语义蒸馏训练的 ROSETok 分词器。
深度剖析
语音分词器在语义层面是脆弱的：波形上的小幅扰动就能打乱它的语义编码，并连带拖垮下游 ASR 和大音频语言模型的识别。 此前对语音分词器脆弱性的评估主要看它对高斯噪声的容忍度，而针对语义表示的迁移攻击及其传播机制研究较少。 在 Fluent Speech Commands 任务上，T-SemAttack 造成的下游性能下降明显大于高斯噪声，甚至低于信噪比 5 dB 的更强高斯噪声下的得分。
攻击的做法是让扰动同时把多个语义编码器的表示推离干净语音，而不是去拟合某个目标模型的输出。 已有语音攻击多依赖 ASR 或大音频语言模型的特定输出目标，需要接触整体架构，优化代价高且迁移性受限。 四个替代编码器分支——S3Tokenizer、HuBERT、Whisper 编码器和 MFCC——被联合优化，扰动经心理声学掩蔽阈值约束，在 LibriTTS 上以 21.800 的实时因子和 16.319 dB 的信噪比完成攻击。
同一组扰动可以迁移到未见过模型：在 LibriTTS 单说话人英语数据上，9 个 ASR 系统的词错率从干净语音的约 1%–4% 升到 20.004%–63.555%。 作为对照，端到端攻击方法 E2E-VGuard 在同样数据上的平均词错率为 8.473%，高斯噪声为 3.376%。 在 Seed-TTS 英语多说话人子集上平均词错率为 81.872%，中文子集为 50.814%；在 11 个数据集与模型组合上，大音频语言模型的平均词错率为 58.30%，高于 E2E-VGuard 的 16.76% 和 AudioShield 的 38.66%。
ROSETok 把防御放回分词器本身，用噪声训练和语义蒸馏让编码器在含噪输入下仍贴近干净语音的语义表示。 只在语言模型层面做防御更耗时耗力，而现有分词器在语义攻击下下游得分大幅下滑，例如 StableToken 从干净输入的 96.7 降到 35.0。 在 Seed-TTS 英语数据上，ROSETok-Base 在干净、高斯噪声和 T-SemAttack 输入下的重建 STOI 分别为 0.966、0.950 和 0.842；经攻击感知微调的 ROSETok-AAF 把受攻击输入的重建分数提到 0.903，下游 FSC 得分从 62.4 提到 77.9。
启示与展望
评估覆盖 LibriTTS 单说话人英语数据、Seed-TTS 英语与中文多说话人数据，以及 9 个 ASR 系统和 4 个大音频语言模型；攻击在离线场景下进行，对实时性要求不高。ROSETok-Base 在约 9.67 万小时中英文 Emilia 数据上训练，第二阶段用 LibriSpeech 中随机选取的 2000 条语句生成扰动做攻击感知微调。
作者说明 T-SemAttack 追求的是不破坏音频正常可用性而非真正不可感知，主观听测的 MOS-Q 为 3.01；他们也指出 ROSETok 并非对所有语义攻击的完整缓解，其鲁棒性取决于训练分布和威胁模型，部署系统还需叠加监控、去噪与系统级防护。作者把提升攻击实时性列为后续方向，例如多 GPU 并行。