跳到主要内容
检索

Xiaoyan Li

1 篇关联报道

订阅更新
  1. arXiv

    换掉 Adam 就能少忘旧任务:STABLE 在 100 任务流上把同一套 LoRA 的平均准确率从 0.66% 拉到 73.12%

    持续学习中的遗忘常被归因于回放、正则或架构改造,STABLE 改从优化器入手:它把参数偏离上一任务解的距离当作预算,越界就加大拉回强度,回到预算内就放松。在 ImageNet-R 的 100 任务流上,同一套 LoRA 从 Adam 的 0.66% 平均准确率变为 73.12%,平均遗忘从 60.22% 降到 10.17%;CLIP 多模态流上零样本迁移也保持在预训练水平附近。

已读完全部报道