FOM-UL只改少数层做遗忘：4比特量化下残余记忆仍低于全模型更新基线，保留集效用更高
核心概要
大模型遗忘不必再对全模型做弥散更新。FOM-UL按每层遗忘集梯度范数与保留集梯度范数之比给层打分，只更新得分高的少数层，遗忘不达标时再逐层扩大。在TOFU、KnowUnDo与MUSE式评测上，它比GA、NPO、KLD等基线留下更少的残余记忆，保留集效用接近原模型；在8比特与4比特训练后量化下，它保持有利的遗忘—效用权衡，但4比特下残余记忆相对全精度确有上升。
深度剖析
大模型遗忘现在可以只改动少数几层，而不必对全模型做弥散更新。 此前的梯度上升、负偏好优化与KL约束类方法通常在全模型范围施加更新，遗忘信号分散，且在后训练量化下可能被低比特舍入抹掉。 在TOFU-World Facts上，Llama-3.2-1B的FOM-UL-Full把残余记忆M1从原模型的5.80±0.07降到1.24±0.03，保留集效用M4为2.90±0.03，与原模型的2.90±0.03持平。
层选择由一个遗忘—保留显著性分数决定，更新只落在得分高的层上。 该分数取每层遗忘集梯度范数与保留集梯度范数之比，比值高意味着该层对遗忘目标响应强、对保留目标干扰小。 在Llama-3.2-1B的TOFU-World Facts上，只选单个高分后层时M1为2.35、M4为2.85，而只选前四层时M1为4.80、M4为2.05。
更新集中在少数层，使遗忘在低比特量化后更不容易被舍入抹掉。 弥散的全模型更新幅度小，量化后可能落回同一量化格，使被抑制的知识重新出现。 在Llama-3.2-1B的4比特量化下，FOM-UL的M1为2.44、M4为2.04；同一设置下SURE+NPO的M1为2.42、M4为1.80。
启示与展望
评测覆盖TOFU-World Facts、KnowUnDo与MUSE的BOOKS、NEWS子集，模型包括Llama-2 7B、GPT-2、Llama-3.2-1B、Gemma-3-1B与Qwen3.5-4B，并在FP32、8比特与4比特量化及越狱提示包装下检验。作者把形式化的完整擦除保证留给未来工作。
作者指出，方法效果依赖层归因信号的可靠性，而该信号会随提示、领域与评测设置变化；高度纠缠或冗余编码的知识可能需要扩大更新层集或增加迭代，从而抬高计算并带来效用权衡。作者还说明，4比特下FOM-UL的M3为负值表示偏离重训练隐私基线，而非隐私改善；4比特量化总体上会相对8比特抬高残余记忆。