跳到主要内容
检索

# Fisher-Shaped EWC(FS-EWC)

1 篇关联报道

订阅更新
  1. arXiv

    EWC不再只守旧参数:FS-EWC先塑造解,再保护解,LoRA下多个基准优于EWC

    无回放的持续学习里,EWC只用保留解处的Fisher信息惩罚参数改动,却管不住参数走远之后的敏感度。FS-EWC把Fisher信息提前用于塑造当前任务的解:训练时压低邻域内最坏情况的Fisher迹,任务结束时用轨迹上多个检查点的平均构造保留锚点。在视觉与语言基准上,FS-EWC在对应EWC基线上普遍提升,全参数微调与LoRA两种设置都成立。

已读完全部报道