跳到主要内容
检索

Lingxiang Wang

1 篇关联报道

订阅更新
  1. arXiv

    SVC 以奇异向量通道选择在四个 LLM 家族上同时提升持续学习性能与预训练能力保留

    该工作把每个奇异值对应的左右奇异向量对定义为一个“奇异向量通道”,用当前任务梯度估计其适配收益、用无标注通用语料上的激活二阶矩估计其遗忘代价,再经膝点代价筛选、Pareto 前沿过滤与 Otsu 阈值自动选出可训练通道;在四个 LLM 家族、八个 TRACE 任务与三种任务顺序下,SVC 在保持预训练通用能力的同时取得较强的下游持续学习表现。

已读完全部报道