临床影像常按机构、模态和标注结构分批到来，分割模型既要适应新的成像分布，又要学会新增的病灶类别，同时不能忘掉旧知识。FGCARL 把双向特征统计对齐与 Fisher 信息加权的参数约束放进同一个增量学习框架，不需要回放历史患者数据。在从 UCSF-BMSR 迁移到 BraTS-METS 2023 的域与类同时变化设定中，配 Swin UNETR 的 FGCARL 在新域三个肿瘤区域上平均 Dice 为 68.28%，高于对比中最强的 CLAMTS 的 60.94%。
MEOW把非交互式3D分割骨干改造成开放世界交互式分割系统，全程不更新任何可学习参数。此前交互式分割只能处理开放集，即识别或拒绝未知结构，却无法把用户确认的预测积累下来。MEOW用冻结特征提取器、无参数转导推理和记忆巩固，把用户修正后的伪标签存入记忆，供后续查询直接检索；在训练中未出现的类别上，它随记忆样本增加持续改善自身预测，并能零样本迁移到微型CT和其他成像模态。
持续学习中的遗忘常被归因于回放、正则或架构改造，STABLE 改从优化器入手：它把参数偏离上一任务解的距离当作预算，越界就加大拉回强度，回到预算内就放松。在 ImageNet-R 的 100 任务流上，同一套 LoRA 从 Adam 的 0.66% 平均准确率变为 73.12%，平均遗忘从 60.22% 降到 10.17%；CLIP 多模态流上零样本迁移也保持在预训练水平附近。
混合专家（MoE）Transformer 只在多层感知机上做条件计算，每个 token 仍要经过全部注意力参数。NESTOR 把同样的路由思路搬到注意力上：每个 token 先被分到若干“列”，每列有自己的注意力和专家，两层稀疏按层级嵌套。在 100M 到 1B 活跃参数的语言模型预训练中，达到相同留出损失时 MoE 需要 1.13–1.29 倍算力，稠密模型需要 3.1–4.1 倍，且这一倍数随规模增大没有缩小趋势。
无回放的持续学习里，EWC只用保留解处的Fisher信息惩罚参数改动，却管不住参数走远之后的敏感度。FS-EWC把Fisher信息提前用于塑造当前任务的解：训练时压低邻域内最坏情况的Fisher迹，任务结束时用轨迹上多个检查点的平均构造保留锚点。在视觉与语言基准上，FS-EWC在对应EWC基线上普遍提升，全参数微调与LoRA两种设置都成立。
基础模型通常按预训练、中训练、监督微调和强化学习分阶段训练，每阶段换数据也换算法。统一训练把这几步都写成对目标分布的最大似然拟合，让静态语料与强化学习生成样本在同一个训练器里按比例混合，分阶段训练成为其中一个特例。在受控推理任务和真实中训练数据实验中，统一训练改善了准确率与算力的权衡和任务覆盖，并保留了更广的能力。
大语言模型部署后知识停在固定截止日期，继续用新数据更新参数又会严重遗忘旧任务，只靠上下文学习则信息随会话结束而丢失。Google Research提出的睡眠框架让模型在主动交互与离线巩固之间交替，离线阶段打开预先分配的专家记忆块，用自生成练习样本更新权重。在满语、卡拉芒语等未见语言的连续翻译中，多阶段评估的性能下降接近零，而上下文学习、Cartridges和监督微调出现严重遗忘。
面向持续到来的新行为类别，TRACE 不再回放历史样本，也不扩张共享分类器，而是把冻结的时域—频域特征交给每个类别各自的小型自编码器，按重构误差判定类别。在五个多变量时序增量学习基准上，它的五数据集平均最终准确率为 88.85%，保留内存为 9.17 MiB；相比平均准确率最强的解析基线 TS-ACL，保留内存减少约 98.26%，并在 GrabMyo 上取得约 33.43% 的相对准确率提升。
渐进神经网络靠保留每一代冻结列来传递知识，代价是存储与推理随代际增长。WeanNet 只保留一个冻结父网络，把它的逐层激活经一个标量增益送入新学生网络，并让增益在训练中线性衰减到零，部署时直接移除父网络。在概念漂移任务上，它与架构相同的 PNN-Reset 对照相比，各熵设置下漂移态找到新动作的比例都更高，但核心态也同时占优，且与从零重训的 Reset 相当。
成人气管插管AI模型此前难以直接用于新生儿，因为新生儿影像数据稀缺、跨机构共享受隐私限制。一项覆盖20个国家和地区、30家新生儿重症监护病房的国际回顾性研究改用持续学习：模型在各医院间依次传递，每家只用本地50张胸片在自己环境里重训，不共享患者数据。最终模型的气管导管尖端与隆突联合定位误差平均为0.67厘米，低于医院单独微调的1.29厘米和成人模型直接预测的4.30厘米，并在30家医院中的29家改善定位、27家改善深插管检出。