安全对齐卡在“写拒绝”这一步:注意力早已识别有害,MLP 直到答案开头才落笔
核心概要
在 18 对 Base–Instruct 模型上,有害性信息在注意力更新中更易解码,而拒绝证据主要由 MLP 写入,且后训练只增强写入、不提升识别。
深度剖析
模型的安全行为可以拆成两段:一段负责识别请求有害,另一段负责把这种识别写成拒绝。 此前的行为基准只记录越狱成功或过度拒绝的结果,无法区分失败是没识别出有害,还是识别到了却没写出拒绝。 在覆盖 Qwen、Llama、Gemma 六个模型族、1B 到 27B 的 18 对 Base–Instruct 检查点上,注意力更新的有害性探针 AUC 在全部 36 个检查点上都高于 MLP 更新,且差距在浅层最大。
识别与写入由不同模块承担:浅层注意力暴露有害性,深层 MLP 写出对有害输入有选择性的拒绝。 此前的工作定位了与拒绝相关的方向、特征和安全相关注意力头,但没有说明这些信息如何被转换成安全行为。 在 18 个 Instruct 检查点上,MLP 的净拒绝写入全部超过注意力;把上游注意力干预后,恢复下游 MLP 的干净更新能移除大部分拒绝读数偏移,在留出对照中 MLP 恢复移除 26.5% 到 82.8%,而匹配位置的注意力恢复最高只有 19.2%。
后训练改变的是写入而不是识别:有害性在 Base 模型里已经可解码,后训练让 MLP 的拒绝写入更强、更集中在后段。 此前不清楚对齐训练究竟补上了识别能力,还是补上了把识别转成拒绝的计算。 18 对模型上,MLP 净写入在 18/18 对中上升,注意力净写入只在 12/18 对上升;MLP 正向写入落在网络最后四分之一的比例中位数从 23.01% 升到 63.86%,而两个模块的探针 AUC 都没有系统性提升。
把识别分和写入分合起来用,可以在解码前判断请求会走向越狱还是过度拒绝,并据此选择不同的提醒。 固定提醒在安全与有用之间存在取舍:加强安全约束会推高过度拒绝,强调有用又会削弱对有害请求的防护。 在八个模型上,联合路由把越狱 ASR 从无提醒的 95.97% 降到 35.17%,过度拒绝误拒率从 88.73% 降到 55.72%,良性误拒率仅从 0.00% 升到 0.13%,三项平均 30.34%,低于只用识别分或只用写入分的 38.09% 和 34.96%。
启示与展望
报告的范围是解码器 Transformer 的残差流更新:在 18 对 Base–Instruct 检查点上比较注意力与 MLP 的有害性可解码性和拒绝写入,在六个 Qwen3/Qwen3.5 模型上跟踪生成过程中的位置变化,并在七个模型–模式配置上做联合干预。适合研究模型内部机制与安全对齐的研究者,以及需要在解码前做请求级判断的工程读者。层窗口按模型单独标定并冻结,感知分与决策分的高低是相对于该模型自身的校准和参考状态,零不是通用的行为阈值。
后训练增强 MLP 写入在全部 18 对中成立,但写入在深度上的分布对上下文敏感:在匹配输入与位置的六对对照中,最后四分之一正向写入占比只在 2/6 对上升,峰值深度在三对中后移、两对中前移。下游 MLP 恢复对上游注意力效应的阻断比例在不同架构间差异明显,Qwen3.5-9B 非推理设置下只有 19% 和 11%。推理开启时强拒绝写入集中在答案开头,这一时间结构在关闭推理时同样出现,说明它不依赖模型生成的推理段。
