跳到主要内容
返回时间线
arXiv来源发表:

跨语言越狱有了共同靶点:安全内核只占0.12%神经元,掩码微调压低多语攻击成功率

核心概要

大模型的安全能力在不同语言间并不一致,同一有害请求换一种语言就可能绕过拒答。研究者先在每种语言内部独立找出与安全行为相关的神经元,再取六种语言候选集合的交集,得到跨语言共享的“安全内核”,并用激活抑制和激活状态迁移验证其功能作用。在此基础上提出的SK-Masked LoRA只把微调更新限制在安全内核对应的前馈网络输出维度上,在多个模型和多语言安全基准上降低攻击成功率,对未参与内核发现的语言也有一定效果。

Source-provided article image: Safety Kernel: Mechanistic Alignment for Cross-Lingual Defense in LLMs
arXiv

深度剖析

跨语言安全行为可以对应到一组数量很少、在各语言间共享的神经元坐标,研究者称之为安全内核。 此前的多语言安全方法主要依靠多语言安全数据、偏好优化、跨语言一致性约束或安全能力迁移等外部对齐信号,没有显式定位一个可供跨语言安全干预的共享内部靶点。 在Qwen3-8B和Llama-3.1-8B上,安全内核分别只占所分析前馈网络输出坐标的0.12%和0.15%,而对应的单语言安全神经元集合占0.57%和0.55%;把安全内核坐标置零后,平均攻击成功率分别上升52.65和45.13个百分点,随机掩蔽同样数量的坐标则基本维持在默认水平附近。

把安全微调的更新限制在安全内核坐标上,就能在多种语言中降低攻击成功率。 标准LoRA更新全部维度,攻击成功率最低但通用能力下降最多;与同等神经元预算的英语掩码变体相比,安全内核掩码在Qwen3-8B上把攻击成功率从8.31降到7.52,在Llama-3.1-8B上从6.77降到5.30。 在AdvBench-x和MultiJail上,Llama-3.1-8B-it的平均攻击成功率分别从28.22降到1.20、从29.44降到4.35,Gemma-2-9B-it分别从3.42降到0.34、从10.16降到1.35;在未参与内核发现的越南语、爪哇语、德语、日语和俄语上,Qwen3-8B的平均攻击成功率从14.41降到8.95,Llama-3.1-8B-it从18.67降到4.76。

安全内核的坐标由各语言独立筛选后取交集得到,而不是以英语为锚点。 此前的共享安全神经元工作采用以英语为中心的构造,把英语与各目标语言共享的神经元当作安全迁移的桥梁。 每种语言用多语言平行安全与不安全提示计算安全对比与激活响应性得分,保留得分最高的坐标作为候选,再对六种语言的候选集合取交集;逐一剔除某个发现语言后重算交集,安全内核的相对规模平均只增加,各语言剔除带来的增幅从意大利语的较小值到孟加拉语的较大值不等。

启示与展望

实验覆盖Qwen3-8B、Llama-3.1-8B-it和Gemma-2-9B-it三个指令微调模型,安全内核从英语、中文、意大利语、韩语、泰语和孟加拉语六种语言中发现,安全评估使用AdvBench-x和MultiJail,通用能力用MMLU和MGSM衡量,全部实验在单张NVIDIA A100上完成。

作者把安全内核描述为与跨语言安全行为功能相关且可干预的共享神经元子集,而非仅统计重叠;对未参与发现的语言只报告了可测量的泛化程度,并未声称这些语言含有相同的语言特异安全神经元集合。掩蔽效果随保留候选数增加而趋于稳定,作者据此把该参数作为稳定设置而非普遍最优值。