# 睡眠框架

大语言模型部署后知识停在固定截止日期，继续用新数据更新参数又会严重遗忘旧任务，只靠上下文学习则信息随会话结束而丢失。Google Research提出的睡眠框架让模型在主动交互与离线巩固之间交替，离线阶段打开预先分配的专家记忆块，用自生成练习样本更新权重。在满语、卡拉芒语等未见语言的连续翻译中，多阶段评估的性能下降接近零，而上下文学习、Cartridges和监督微调出现严重遗忘。

大语言模型部署后知识停在固定截止日期，继续用新数据更新参数又会严重遗忘旧任务，只靠上下文学习则信息随会话结束而丢失。Google Research提出的睡眠框架让模型在主动交互与离线巩固之间交替，离线阶段打开预先分配的专家记忆块，用自生成练习样本更新权重。在满语、卡拉芒语等未见语言的连续翻译中，多阶段评估的性能下降接近零，而上下文学习、Cartridges和监督微调出现严重遗忘。