跳到主要内容
检索

# QSGS框架

1 篇关联报道

订阅更新
  1. arXiv

    指令微调数据只取0.5%:QSGS用图割去冗余,Mistral-7B追平全量数据

    面向指令微调的目标数据选择,QSGS把候选样本的梯度相似度组织成一张图,用子模图割同时拉近目标任务、压低子集内部冗余,再用梯度引导合成补上选不出的方向。在MMLU、BBH、TydiQA三个基准和Llama-2、Llama-3、Mistral三个模型上,0.5%预算(27万条中取1350条)的QSGS在Mistral-7B上追平或超过全量数据表现,并在所有基准上优于最强基线。

已读完全部报道