指令微调数据只取0.5%：QSGS用图割去冗余，Mistral-7B追平全量数据
核心概要
面向指令微调的目标数据选择，QSGS把候选样本的梯度相似度组织成一张图，用子模图割同时拉近目标任务、压低子集内部冗余，再用梯度引导合成补上选不出的方向。在MMLU、BBH、TydiQA三个基准和Llama-2、Llama-3、Mistral三个模型上，0.5%预算（27万条中取1350条）的QSGS在Mistral-7B上追平或超过全量数据表现，并在所有基准上优于最强基线。
深度剖析
指令微调的数据选择从逐条打分改为按整组样本打分：选出的子集要同时贴近目标任务、又彼此不重复。 此前LESS一类方法把每个候选单独与目标集比对后取分数最高的若干条，候选之间如何相互重叠不进入评分。 在0.5%预算下，QSGS在九个模型与基准组合上平均比LESS高1.6%，且每个组合都有提升；Llama-2-7B上平均领先2.2%。
做法是在梯度空间里建图：每个训练样本用预热模型若干检查点的低秩梯度表示，样本之间的余弦相似度当作边的权重。 目标函数由两项相加，一项是样本对目标验证集的累积影响，另一项是对子集内两两相似度的惩罚，用贪心逐条加入边际增益最大的样本。 消融在Llama-2-7B、MMLU、0.5%预算下进行，把逐条取最高分换成图割后准确率从45.9升到47.4，再加梯度引导合成得到完整方法。
启示与展望
演示范围是7B至8B的开源权重模型、MMLU、BBH、TydiQA三个基准，以及0.5%到5%的数据预算；Llama-3的训练集按既有做法扩展到17个数据集的组合。作者提出把评估扩展到更大模型、更多领域以及多轮或工具使用任务，是后续方向。
梯度相似图的质量取决于预热检查点和投影梯度特征的保真度，预热集很小时影响估计会带噪声，0.5%预热比例的结果甚至低于随机选择。合成样本目前只按梯度残差对齐挑选，尚无语义或正确性过滤；评估也只覆盖7B至8B模型和三个基准。