持续学习中的遗忘常被归因于回放、正则或架构改造，STABLE 改从优化器入手：它把参数偏离上一任务解的距离当作预算，越界就加大拉回强度，回到预算内就放松。在 ImageNet-R 的 100 任务流上，同一套 LoRA 从 Adam 的 0.66% 平均准确率变为 73.12%，平均遗忘从 60.22% 降到 10.17%；CLIP 多模态流上零样本迁移也保持在预训练水平附近。
把稠密Transformer层扩展成稀疏专家混合模型，让法律与生物医学各自拥有完整MLP专家，并用少量样本监督路由器按领域选择专家。在Llama-3.1-8B与Qwen-3-8B上，该方法在生物医学与法律领域的平均成绩均为最高，通用领域平均分也最高；每领域仅用256个样本监督路由器，适配后专业领域路由准确率为90–98%，未采用该监督的路由器为43–70%。
大语言模型部署后知识停在固定截止日期，继续用新数据更新参数又会严重遗忘旧任务，只靠上下文学习则信息随会话结束而丢失。Google Research提出的睡眠框架让模型在主动交互与离线巩固之间交替，离线阶段打开预先分配的专家记忆块，用自生成练习样本更新权重。在满语、卡拉芒语等未见语言的连续翻译中，多阶段评估的性能下降接近零，而上下文学习、Cartridges和监督微调出现严重遗忘。
渐进神经网络靠保留每一代冻结列来传递知识，代价是存储与推理随代际增长。WeanNet 只保留一个冻结父网络，把它的逐层激活经一个标量增益送入新学生网络，并让增益在训练中线性衰减到零，部署时直接移除父网络。在概念漂移任务上，它与架构相同的 PNN-Reset 对照相比，各熵设置下漂移态找到新动作的比例都更高，但核心态也同时占优，且与从零重训的 Reset 相当。
成人气管插管AI模型此前难以直接用于新生儿，因为新生儿影像数据稀缺、跨机构共享受隐私限制。一项覆盖20个国家和地区、30家新生儿重症监护病房的国际回顾性研究改用持续学习：模型在各医院间依次传递，每家只用本地50张胸片在自己环境里重训，不共享患者数据。最终模型的气管导管尖端与隆突联合定位误差平均为0.67厘米，低于医院单独微调的1.29厘米和成人模型直接预测的4.30厘米，并在30家医院中的29家改善定位、27家改善深插管检出。
语言模型微调新任务时会遗忘旧能力，而用于保护的旧数据只覆盖模型所知的一部分。研究者把可复习的任务描述与示例组织成任务库，让冻结的更新前模型自己生成复习数据，并在四个未参与构造的留出任务上检验保护是否外溢。合并两个部分任务库后，三个测试规模的平均留出保留率都高于任一单个库，最多高出4.42个百分点；在4B规模上，结合新任务信息挑选复习目标比随机挑选高2.75个百分点，更小的模型没有这一优势。
该工作提出免训练的 SFT-as-context：推理时先让监督微调（SFT）模型生成回答，再让父模型把该回答作为上下文生成最终答案，从而通过上下文学习获取微调能力并保留自身通用能力；在 19 对父-SFT 模型与 11 个基准上，它在微调能力上接近 SFT 模型（AIME 2024 与 LiveCodeBench 差距仅 2.2 与 2.1 个百分点，NutriBench-English 宏 MAE 差 2.0），在通用能力上平均与父模型相差 2.2 个百分点以内，并能回答父模型与 SFT 模型单独都答不对的、同时需要两类能力的查询。
该工作把每个奇异值对应的左右奇异向量对定义为一个“奇异向量通道”，用当前任务梯度估计其适配收益、用无标注通用语料上的激活二阶矩估计其遗忘代价，再经膝点代价筛选、Pareto 前沿过滤与 Otsu 阈值自动选出可训练通道；在四个 LLM 家族、八个 TRACE 任务与三种任务顺序下，SVC 在保持预训练通用能力的同时取得较强的下游持续学习表现。
作者在无原始数据的持续预训练与微调中，通过逐组冻结把灾难性遗忘定位到新语料中罕见词的输出嵌入行，并指出这些行因持续单向的softmax梯度被Adam的二阶矩归一化放大成全尺寸更新；据此仅在输出投影上调高Adam的二阶矩，在160M至12B、四个模型家族的八个设置中于七个稳定配置消除39.4%–67.9%的遗忘，且不损害目标域学习。
该工作提出 CPR（Critical-Point Routing），一种在基座模型与其 SFT 专家衍生模型之间进行 token 级路由的框架，依据基座模型失败而专家成功的“关键 token”训练轻量分层路由器估计逐 token 调用专家的概率，并配合动量平滑与阈值门控的推理流程；在多种模型-领域配置下，CPR 在域性能上超过 SFT 专家 1.4-5.5%，同时把通用能力下降从 3.4-14.5% 恢复到最多 0.5%，且仅对约三分之一 token 调用专家，开销很小。