# 任务库自重放

语言模型微调新任务时会遗忘旧能力，而用于保护的旧数据只覆盖模型所知的一部分。研究者把可复习的任务描述与示例组织成任务库，让冻结的更新前模型自己生成复习数据，并在四个未参与构造的留出任务上检验保护是否外溢。合并两个部分任务库后，三个测试规模的平均留出保留率都高于任一单个库，最多高出4.42个百分点；在4B规模上，结合新任务信息挑选复习目标比随机挑选高2.75个百分点，更小的模型没有这一优势。

语言模型微调新任务时会遗忘旧能力，而用于保护的旧数据只覆盖模型所知的一部分。研究者把可复习的任务描述与示例组织成任务库，让冻结的更新前模型自己生成复习数据，并在四个未参与构造的留出任务上检验保护是否外溢。合并两个部分任务库后，三个测试规模的平均留出保留率都高于任一单个库，最多高出4.42个百分点；在4B规模上，结合新任务信息挑选复习目标比随机挑选高2.75个百分点，更小的模型没有这一优势。