换掉 Adam 就能少忘旧任务：STABLE 在 100 任务流上把同一套 LoRA 的平均准确率从 0.66% 拉到 73.12%
核心概要
持续学习中的遗忘常被归因于回放、正则或架构改造，STABLE 改从优化器入手：它把参数偏离上一任务解的距离当作预算，越界就加大拉回强度，回到预算内就放松。在 ImageNet-R 的 100 任务流上，同一套 LoRA 从 Adam 的 0.66% 平均准确率变为 73.12%，平均遗忘从 60.22% 降到 10.17%；CLIP 多模态流上零样本迁移也保持在预训练水平附近。
深度剖析
持续学习的遗忘可以在优化器层面处理：STABLE 约束参数偏离上一任务结束时解的距离，而不改动数据流、损失函数或参数高效微调结构。 此前的持续学习方法多靠回放旧样本、对重要参数加正则，或用提示、路由、适配器把容量按任务隔开，这些做法会增加训练复杂度，有时也增加推理开销。 在 ImageNet-R 的 100 任务流上，同一 LoRA 结构配 Adam 的最终平均准确率为 0.66%、平均遗忘 60.22%，换成 STABLE 后为 73.12% 和 10.17%；CIFAR-100 的 50 任务流上由 1.30% 升到 88.77%。
做法是在每个任务边界把上一任务的参数存为锚点，训练新任务时用原始-对偶更新调节一个拉回项，让参数不要离锚点太远。 拉回强度由对偶变量 λ 在线决定，而不是像 EWC、SI、MAS、L2-SP 那样在训练前固定一个系数；漂移超过预算时 λ 增大，回到预算内时 λ 乘性衰减。 在 ImageNet-R 的 100 任务 LoRA 运行中，任务 10、50、100 切换后的早期轮次里，偏离锚点的距离先快速上升，超过预算后 λ 上升把轨迹拉回，随后 λ 衰减；Adam 的漂移则无约束增长。
漂移预算只需在第一个任务上标定一次，之后整条任务流沿用同一个值。 预算由任务 1 记录的更新幅度统计量取 75 分位数得到，后续任务不再逐数据集调参。 ImageNet-A-100 的各类别图像数从 26 张到数倍不等，任务难度和训练集大小都不一致，用其第一个任务标定的预算，LoRA 配 STABLE 在该流上仍达到 62.34% 平均准确率、12.11% 平均遗忘。
启示与展望
实验覆盖冻结的 ImageNet-21K 预训练 ViT-B/16 与 CLIP ViT-B/16 骨干，只训练 LoRA 或前缀提示这类参数高效模块，单模态用 100、50、50 任务流，多模态用 10 任务流，推理用协方差白化的最近类均值头或 CLIP 相似度头。全模型微调、从零训练和其他模态不在考察范围内。
预测保持的保证与边界侵蚀分析只针对由表示直接诱导的距离型分类头，其他头和生成式目标不在当前理论与实验范围内。预算从任务 1 标定，遇到刻意异常的首个任务尚未测试；与 InfLoRA、HiDeLoRA、CODA-Prompt 等专用方法的组合也留待后续。