MIRROR用参考揭示的在线自蒸馏把LLM个性化从模仿转向偏好内化,在三个基准上取得领先并减少遗忘
MIRROR把用户参考文本当作事后信息,用同一模型在参考可见与可部署两种上下文下对自身在线生成轨迹做分布对齐,从而内化偏好而非复制措辞;MIRROR-F再对信息性且上下文可溯的参考词施加选择性锚定。在三个个性化生成基准、两种模型规模与参考及LLM评判下,两者取得领先的个性化与文本质量,并在三个未见任务上比SFT基线遗忘更少。
MIRROR把用户参考文本当作事后信息,用同一模型在参考可见与可部署两种上下文下对自身在线生成轨迹做分布对齐,从而内化偏好而非复制措辞;MIRROR-F再对信息性且上下文可溯的参考词施加选择性锚定。在三个个性化生成基准、两种模型规模与参考及LLM评判下,两者取得领先的个性化与文本质量,并在三个未见任务上比SFT基线遗忘更少。
CARD 提出一种分层个性化文本生成框架:先按写作风格把用户聚类并为每个簇训练共享 LoRA 适配器,再用对比用户文本与簇级生成结果的隐式偏好学习得到轻量用户偏好向量,推理时仅通过低秩 logit 修正进行解码期个性化,在 LaMP 与 LongLaMP 六个任务、两个指标共 12 个设置中排名第一的有 10 个,并在低资源用户、跨模型规模与存储效率上表现稳定。
已读完全部报道