MergeRepair 将多个代码任务适配器合并后,在 StarCoder2 上把自动程序修复的 pass@1 提升 2.38%、pass@10 提升 4.01%,且不额外训练
该研究提出 MergeRepair 框架,在 CommitPackFT 的 Python 子集(59,113 条样本,其中 Bug Fixes/APR 占 19.02%)上为 Development、Bug Fixes、Misc、Test & QA、Improvement 五个任务各训练一个 LoRA 适配器,用 weight-averaging、ties、dare-ties 三种方法做等权合并,并提出按顺序逐步合并的 continual merging;在 StarCoder2 与 Granite 两个 3B 代码模型上以 HumanEvalFix 的 pass@1/pass@10 评估,结果显示合并适配器可在不额外训练的情况下提升 APR 表现,例如 Sta