跳到主要内容
检索

# FOM-UL层选择性遗忘框架

1 篇关联报道

订阅更新
  1. aclanthology.org

    FOM-UL只改少数层做遗忘:4比特量化下残余记忆仍低于全模型更新基线,保留集效用更高

    大模型遗忘不必再对全模型做弥散更新。FOM-UL按每层遗忘集梯度范数与保留集梯度范数之比给层打分,只更新得分高的少数层,遗忘不达标时再逐层扩大。在TOFU、KnowUnDo与MUSE式评测上,它比GA、NPO、KLD等基线留下更少的残余记忆,保留集效用接近原模型;在8比特与4比特训练后量化下,它保持有利的遗忘—效用权衡,但4比特下残余记忆相对全精度确有上升。

已读完全部报道