Seoul National University of Science and Technology

作者在无原始数据的持续预训练与微调中，通过逐组冻结把灾难性遗忘定位到新语料中罕见词的输出嵌入行，并指出这些行因持续单向的softmax梯度被Adam的二阶矩归一化放大成全尺寸更新；据此仅在输出投影上调高Adam的二阶矩，在160M至12B、四个模型家族的八个设置中于七个稳定配置消除39.4%–67.9%的遗忘，且不损害目标域学习。

作者在无原始数据的持续预训练与微调中，通过逐组冻结把灾难性遗忘定位到新语料中罕见词的输出嵌入行，并指出这些行因持续单向的softmax梯度被Adam的二阶矩归一化放大成全尺寸更新；据此仅在输出投影上调高Adam的二阶矩，在160M至12B、四个模型家族的八个设置中于七个稳定配置消除39.4%–67.9%的遗忘，且不损害目标域学习。