少样本蒸馏别只喂事实样本：配上反事实上下文，T5与Qwen2.5在多数问答设置上超过纯事实基线
核心概要
少样本蒸馏的效果高度依赖选哪些训练样本，靠近教师决策边界的事实样本反而会拖低蒸馏表现。CofFeQA把这类困难事实样本与反事实配对使用：反事实是只做最小改动、让教师改答另一个答案的上下文，从而在边界附近补充监督。在T5与Qwen2.5两个模型家族、五个域内和三个域外开放书问答基准上，相同少样本预算下它在多数设置中超过纯事实蒸馏基线，但并非每个设置都提升。
深度剖析
少样本蒸馏的样本选择被摆到了台面上：靠近教师决策边界的事实样本不是好教材，而是会明显拉低学生表现的一类样本。 此前的少样本蒸馏通常按固定预算抽取事实样本，默认样本越多越接近全量监督，并未把样本与教师决策边界的距离当作选择依据。 按教师预测间隔把事实样本分成三档、每档固定取100条做蒸馏后，最小间隔那一档的域内平均EM与F1都低于中间和最大间隔两档，且这一模式在HotpotQA、NewsQA、TriviaQA、NQ上比SQuAD更明显。
做法是把困难事实样本和它的反事实配成对，用同一问题下被改写的上下文提供额外监督，而不是只喂事实答案。 反事实数据增强此前多用于分类任务，生成式开放书问答里输出是自由文本，反事实难以定义，也很少被用于蒸馏。 反事实由GPT-4o-mini分三步生成：先判定答案实体类型，再生成同类别的替代答案，最后最小改动上下文使其支持替代答案；随后用新指标CFD筛选，CFD同时看教师是否给出目标替代答案、以及该答案在给定改写上下文后是否更可预测。
在相同少样本预算下，配对监督让学生更贴近教师，并在域外数据上保持增益。 对照是同一预算、同一批最小间隔事实样本的纯事实蒸馏，以及标准KD、序列级KD和逐层蒸馏三种基线。 五个域内加三个域外基准、T5与Qwen2.5两个家族、16到256对样本的五档预算、五个随机种子取均值；T5下标准KD的平均F1由基线提升到更高水平，Qwen2.5下同样提升，且教师-学生一致性的EM与F1多数设置高于标准KD，但部分设置如HotpotQA的SeqKD并未提升。
启示与展望
当前反事实生成只覆盖答案为实体类型的问答样本，且方法针对开放书问答设计，即通过改写支撑上下文、保留问题来构造反事实。实验在T5与Qwen2.5两个模型家族、五个域内和三个域外基准上、16到256对样本的五档少样本预算下完成，结果以五个随机种子的均值报告。若要把这套监督用到其他生成任务，需要重新定义、生成并验证反事实。
几何分析依赖三个假设：上下文扰动幅度有界、学生与教师在配对样本上答案一致、反事实在边界上有足够覆盖，其中答案一致是理想化条件。生成式模型输出本身具有随机性，教师未必产生预期的替代答案，因此需要CFD在蒸馏前筛选。CFD阈值对效果敏感：阈值过松时增益很小，中等阈值增益最大，继续放宽后增益逐步下降。