跳到主要内容
检索

Zilin Du

1 篇关联报道

订阅更新
  1. arXiv

    TESS 用 Pointwise Value Matching 目标替换逐样本权重,使数据选择网络在 LLM 安全与指令微调中跨数据集、跨规模迁移

    该工作指出把选择网络直接嵌入现有元学习训练数据选择(MTS)目标会因权重抑制和对易学特征的持续依赖而导致优化不稳定与泛化差,并提出基于 Pointwise Value Matching(PVM)目标的可扩展数据选择框架 TESS,在 LLM 安全与定向指令微调实验中显示从子集到全语料、从较小模型到较大模型的强迁移。

已读完全部报道