安全对齐不再只靠几千个神经元：ABS-Align逐步剪掉它们再微调，部分攻击成功率降约九成
核心概要
开源权重模型的安全对齐高度稀疏，剪掉少量安全关键神经元或消融单个拒绝方向就能让模型输出有害内容。ABS-Align在偏好微调过程中逐步剪除这些已识别的安全关键神经元，迫使拒绝行为由网络其他部分重新建立，微调结束后再恢复被剪神经元。在Gemma-2-2B-IT、Llama-3-8B-Instruct、Llama-3.2-3B-Instruct和Qwen-3-4B四个模型上，该方法对TwinBreak、NeuroStrike、拒绝方向消融及十种SORRY-Bench黑盒攻击的成功率普遍下降，部分攻击降幅约90%，同时TruthfulQA提升而通用能力变化很小。
深度剖析
安全对齐的脆弱性被当作一个可训练的结构问题来处理：微调后的模型不再把拒绝行为集中存放在最初那批安全关键神经元上，因此针对这些神经元的剪枝和方向消融更难奏效。 此前的研究显示，剪掉仅占模型极小比例的安全关键神经元，或从中间激活中消融单个拒绝方向，就能基本解除安全对齐，而通用能力几乎不受影响；现有的输入输出过滤和微调防御并未改变这种稀疏性。 在Gemma-2-2B-IT上，TwinBreak五次剪枝迭代的累计StrongREJECT分数从无防御的0.71降到0.23，Llama-3-8B-Instruct从0.81降到0.11，Llama-3.2-3B-Instruct从0.74降到0.33，Qwen-3-4B从0.79降到0.13。
做法是先定位再逐步移除：模型在微调过程中一点点失去原有的安全神经元，只能借助其余神经元和表示维持拒绝行为。 方法用TwinBreak按恶意与良性孪生提示的激活差异给神经元打分，并按分数从高到低排序，先剪掉对安全对齐影响最大的那些。 训练使用PKU-SafeRLHF中随机抽取的1000条偏好样本，并加入850条Alpaca样本和150条XSTest安全样本，以直接偏好优化损失微调，首个和最后一个Transformer块保持冻结，每200步再剪掉下一批安全神经元。
启示与展望
演示范围限于Gemma-2-2B-IT、Llama-3-8B-Instruct、Llama-3.2-3B-Instruct和Qwen-3-4B四个开源权重模型，威胁模型是拥有白盒访问权限、可做神经元剪枝或激活干预的攻击者，对抗性微调攻击不在考虑范围内；结果以StrongREJECT和SORRY-Bench评测器打分，训练仅用1000条偏好样本加少量能力保留样本。
安全神经元检测依赖启发式打分，可能漏掉部分安全神经元或误标无关神经元，因此无法直接量化微调后安全对齐的绝对密度；作者用“更密”指对原识别神经元依赖降低，而非测得密度上升。自适应攻击把TwinBreak剪枝预算从5轮增到15轮后，Qwen-3-4B的攻击成功率从0.13升到0.29，仍低于无防御的0.79，但说明加大预算能部分恢复攻击效果。