EWC不再只守旧参数：FS-EWC先塑造解，再保护解，LoRA下多个基准优于EWC
核心概要
无回放的持续学习里，EWC只用保留解处的Fisher信息惩罚参数改动，却管不住参数走远之后的敏感度。FS-EWC把Fisher信息提前用于塑造当前任务的解：训练时压低邻域内最坏情况的Fisher迹，任务结束时用轨迹上多个检查点的平均构造保留锚点。在视觉与语言基准上，FS-EWC在对应EWC基线上普遍提升，全参数微调与LoRA两种设置都成立。
深度剖析
持续学习中的遗忘不只取决于事后如何保护一个解，也取决于被保护的那个解本身是否经得起后续参数漂移；FS-EWC把Fisher信息从参数保护扩展到解的塑造。 EWC及其在线、轨迹感知和结构化近似等扩展，主要改进历史重要性的构造与使用方式，仍把待保护的解当作给定对象。 在CIFAR-100、ImageNet-R、ImageNet-A、DomainNet四个视觉基准上，FS-EWC在对应EWC基线上提升最终平均准确率，全参数微调与LoRA两种参数化下均成立。
训练时，FS-EWC在EWC目标上增加一项邻域Fisher迹惩罚，让当前解对半径内的有界未来位移不敏感；任务结束时，保留锚点由优化轨迹上若干检查点的平均构成，再在该锚点处估计Fisher用于后续巩固。 邻域最坏情况Fisher迹的梯度包含一个Hessian–向量积修正项，实际求解用有限差分探针加单步归一化上升来近似内层最大化。 在Aircraft、Cars、CUB-200、Flowers与5Datasets五个细粒度与异构视觉基准上，FS-EWCLoRA相对匹配的EWCLoRA在每一处都提升最终平均准确率。
启示与展望
实验覆盖ViT-B/16上的CIFAR-100、ImageNet-R、ImageNet-A、DomainNet与五个细粒度视觉基准，以及Llama-3.2-1B和Llama-3.2-3B上的持续文本分类；全部为无回放的类增量设置，历史数据不保留也不回放。
受控位移诊断中的容忍半径只在测量网格上评估，属于经验汇总而非连续邻域上的保证；Llama-3.2-3B在Order 3下最终平均准确率略低于EWCLoRA；Kronecker分解的EWC在某个历史正则系数下出现数值不稳定并产生NaN。