MIRROR用参考揭示的在线自蒸馏把LLM个性化从模仿转向偏好内化,在三个基准上取得领先并减少遗忘
MIRROR把用户参考文本当作事后信息,用同一模型在参考可见与可部署两种上下文下对自身在线生成轨迹做分布对齐,从而内化偏好而非复制措辞;MIRROR-F再对信息性且上下文可溯的参考词施加选择性锚定。在三个个性化生成基准、两种模型规模与参考及LLM评判下,两者取得领先的个性化与文本质量,并在三个未见任务上比SFT基线遗忘更少。
MIRROR把用户参考文本当作事后信息,用同一模型在参考可见与可部署两种上下文下对自身在线生成轨迹做分布对齐,从而内化偏好而非复制措辞;MIRROR-F再对信息性且上下文可溯的参考词施加选择性锚定。在三个个性化生成基准、两种模型规模与参考及LLM评判下,两者取得领先的个性化与文本质量,并在三个未见任务上比SFT基线遗忘更少。
已读完全部报道