跳到主要内容
检索

# LoRA合并

1 篇关联报道

订阅更新
  1. arXiv

    Samsung Research 提出 Net Utility:按奇异方向分配 LoRA 合并秩预算,视觉任务平均提升 2.1%、语言任务提升 2.2%

    该工作指出 LoRA 合并中“每层、每任务平均分配秩预算”的均匀假设是合并模型与单任务 LoRA 性能差距的主要来源,并提出免数据的 Net Utility 指标:对每个任务 LoRA 做 SVD 分解,按“对自身任务的贡献减去对其他任务的干扰”给每个奇异方向打分,再在总秩预算约束下全局挑选得分最高的方向;在 7 个视觉任务与 6 个语言任务上叠加于五种合并方法与三种合并空间,视觉平均提升 2.1%、语言平均提升 2.2%。

已读完全部报道