arXiv 作者提出Local Support Learning（LSL），把灾难性遗忘视为每个权重矩阵输入空间的几何问题，用一个基于高斯混合模型的门控函数只在该阶段训练分布的支持域上启用权重适配器，从而在无法访问先前数据的情况下，对最多70亿参数的LLM进行多阶段微调，既充分学习新任务又保留预训练与先前微调能力。
作者提出Local Support Learning（LSL），把灾难性遗忘视为每个权重矩阵输入空间的几何问题，用一个基于高斯混合模型的门控函数只在该阶段训练分布的支持域上启用权重适配器，从而在无法访问先前数据的情况下，对最多70亿参数的LLM进行多阶段微调，既充分学习新任务又保留预训练与先前微调能力。
作者提出Local Support Learning（LSL），把灾难性遗忘视为每个权重矩阵输入空间的几何问题，用一个基于高斯混合模型的门控函数只在该阶段训练分布的支持域上启用权重适配器，从而在无法访问先前数据的情况下，对最多70亿参数的LLM进行多阶段微调，既充分学习新任务又保留预训练与先前微调能力。
作者提出Local Support Learning（LSL），把灾难性遗忘视为每个权重矩阵输入空间的几何问题，用一个基于高斯混合模型的门控函数只在该阶段训练分布的支持域上启用权重适配器，从而在无法访问先前数据的情况下，对最多70亿参数的LLM进行多阶段微调，既充分学习新任务又保留预训练与先前微调能力。