CANS 给每个前馈神经元单独定缩放系数：安全、毒性与幻觉三类控制同时保住通用能力
核心概要
大模型的行为控制常以牺牲通用能力为代价，CANS 把干预改成给每个前馈网络神经元分配一个缩放系数，系数同时计入该神经元对目标行为的贡献和它对通用输出的扰动。目标行为用模型回复中目标词元的对数概率作代理，能力保持用通用文本上的输出分布 KL 散度作代理，两者局部近似后得到闭式解，无需迭代训练，也不增加推理时计算。在 Qwen3-4B 与 Llama 系列上，CANS 在安全、毒性和幻觉控制中取得与 SFT、CAA 及神经元级基线相当或更好的转向效果，同时更好地保住 MMLU、BBH 和 IFEval 表现。
深度剖析
行为控制不再靠统一放大或清零选中的神经元，而是给全部前馈网络神经元各配一个缩放系数，让支持目标行为且扰动小的神经元多动、扰动大的少动。 此前的神经元级方法按领域特定规则挑神经元再统一干预，例如共享缩放、激活清零或神经元移除，这些做法不把能力保持写进目标，跨领域迁移时转向收益有限或能力损失明显。 在 Qwen3-4B 与 Llama 系列的安全、毒性、幻觉三类任务上，CANS 与 SFT、CAA、SN-Tune、DAP、AurA、H-Neurons 及仅用梯度的 CANS-Grad-Only 比较，转向与能力的权衡整体更有利。
两个可计算的代理把问题变成一次闭式求解：目标词元对数概率的变化估计转向收益，通用输入上的输出分布 KL 散度估计能力扰动。 KL 散度在未修改模型附近用 Fisher 信息矩阵做二次近似，只保留对角项以控制存储和计算，并对小曲率方向加阻尼。 参考文本取自 WikiText-2 训练集前 128 个词元，每个上下文采样续写；对角 Fisher 只需一次反向传播即可得到全部神经元系数，系数随后折进下投影权重，推理时不增加参数或运算。
同一套数据构造与干预流程可换到新领域：从原模型采样回复、按目标行为过滤、标注目标片段，即可构造转向语料。 安全用 Circuit Breakers 的拒绝回复并标出首个拒绝线索，毒性用 RealToxicityPrompts 的有毒片段，幻觉用 TruthfulQA 判为正确的答案片段。 在 Qwen3-4B 安全设置上，把保持预算从约一个较小值提高到较大值，攻击成功率随之下降，而平均能力只降几个点；Qwen3 的幻觉控制则出现饱和，加大预算不一定继续改善目标行为。
启示与展望
演示范围限于 Qwen3-4B 与 Llama 系列上的安全、毒性和幻觉三类控制，能力以 IFEval、BBH、MMLU 的等权平均衡量；保持准则本身不保证安全或公平，部署前仍需按应用做评估。
只保留 Fisher 对角项会忽略神经元之间的相互作用；转向效果依赖生成回复、行为标签和目标片段标注的质量，单一目标片段对幻觉这类与模型知识纠缠的行为可能监督不足。