跳到主要内容
检索

Yucheng Wu

1 篇关联报道

订阅更新
  1. arXiv

    CANS 给每个前馈神经元单独定缩放系数:安全、毒性与幻觉三类控制同时保住通用能力

    大模型的行为控制常以牺牲通用能力为代价,CANS 把干预改成给每个前馈网络神经元分配一个缩放系数,系数同时计入该神经元对目标行为的贡献和它对通用输出的扰动。目标行为用模型回复中目标词元的对数概率作代理,能力保持用通用文本上的输出分布 KL 散度作代理,两者局部近似后得到闭式解,无需迭代训练,也不增加推理时计算。在 Qwen3-4B 与 Llama 系列上,CANS 在安全、毒性和幻觉控制中取得与 SFT、CAA 及神经元级基线相当或更好的转向效果,同时更好地保住 MMLU、BBH 和 IFEval 表现。

已读完全部报道