不训练也能让模型更少顺从有害请求：放大三组内部组件，攻击下安全率从43.2%升到69.7%
核心概要
研究把大模型拒答行为拆成一条跨层通路：前中层的“有害检测头”识别输入中的有害词，中后层的“安全神经元”在残差流中传递并稳定这一信号，后层的“拒答头”据此生成拒绝。对这三类组件做不改变架构的权重缩放后，六个模型在GCG攻击下的平均安全率从43.2%升到69.7%，四个标准基准上的平均准确率只下降1.7%。
深度剖析
大模型的拒答行为可以被拆成一条分工明确的跨层通路，而不是若干互不相干的部件。 此前的安全方法多在行为或语义层面塑造输出，例如RLHF、对抗训练和后置过滤，并不刻画模型内部在哪里检测有害意图、又在哪里触发拒绝。 在六个模型上，只把检测头的注意力输出在有害与中性配对提示之间互换，五个模型出现双向效应：把中性输出换进有害提示会压低拒答头贡献，反向替换则抬高，前向解释19.5%至34.6%的差距，反向解释39.4%至70.6%。
按这条通路放大对应组件的写入强度，可以在不重新训练的情况下提高模型对有害提示的抵抗力。 单独放大检测头、拒答头或安全神经元各自都能提升安全率，但面对对抗攻击时往往不够。 在AdvBench上，对前3%的检测头与拒答头取缩放系数2.0、对前1%的安全神经元取1.5，六个模型在GCG攻击下的平均安全率由43.2%升至69.7%，四个标准基准的平均准确率下降1.7%。
把同样的缩放固化进权重，得到的模型在针对它重新优化的攻击下仍然更安全。 推理时干预需要每次运行都施加，而固化编辑不引入新参数，也不改变架构。 对每个模型重新生成针对编辑后权重的GCG后缀，安全率在六个模型上均高于原始模型，例如Mistral由36%升至62%，Qwen2.5由30%升至70%。
启示与展望
结论建立在六个指令微调模型、AdvBench与恶意指令数据集，以及纯有害提示、GCG、ADV-LLM、PAIR、AutoDAN等攻击设置之上，安全率由Llama-Guard、Claude、规则模板与一名标注者分别判定。适合关注对齐与机制可解释性的研究者阅读。
作者指出，通路刻画基于探针阶段捕获的模型表示快照，未考虑模型在持续训练或微调后安全通路如何演化或重组。此外，LLaMA3在激活替换中的前向效应仅0.7%、反向18.2%，作者将其描述为检测到拒答的通路更分散或部分被绕过的个例。