少样本蒸馏不再只喂事实样本：配上反事实上下文，T5与Qwen2.5在八个问答基准上稳定超过纯事实基线
导语
少样本知识蒸馏此前只挑教师最不确定的事实样本，CofFeQA改为给这些样本配上最小改动的反事实上下文，在T5与Qwen2.5两个模型族、五个域内和三个域外问答基准上，同一少样本预算下稳定超过纯事实蒸馏基线。
正文
少样本蒸馏的效果取决于挑哪些训练样本，而教师预测边界附近的事实样本恰恰最难蒸馏。 此前少样本蒸馏只用事实样本，且通常直接取教师预测间隔最小的那批；论文按教师预测间隔把事实样本分成三档，每档各取100条做蒸馏，最小间隔档的EM和F1明显低于中间档和最大档。 这一退化在五个域内数据集上都能看到，其中HotpotQA、NewsQA、TriviaQA和NQ的差距尤其明显，SQuAD三档之间差别较小。
CofFeQA把边界附近的事实样本与它们的反事实配对，用反事实在教师决策边界附近补上额外监督。 纯事实监督只告诉学生教师对某个上下文给出什么答案，反事实则暴露教师在同一问题、最小改动上下文下如何改口，从而给出边界两侧的局部信息。 在T5设置下，跨全部数据集和16到256各档少样本预算平均，标准KD的F1从66.42升到69.27，LWD从66.37升到69.28，SeqKD从68.63升到70.52；Qwen2.5下标准KD平均F1从66.21升到67.72。
反事实由GPT-4o-mini分三步生成，再用新指标CFD筛掉不合格的样本。 生成的反事实并不都有效：教师可能不给出目标替代答案，也可能不依赖被改动的上下文就能猜出答案，这类样本会削弱学生要学的因果关系。 CFD把答案一致性与上下文损失比结合起来，只保留教师既给出目标答案、又确实更依赖改动上下文的样本；消融显示带CFD验证的版本比不带验证的版本在问答性能和师生一致性上收益更大。
接下来
报告覆盖的是开放域问答中的少样本蒸馏：五个域内基准为Natural Questions、SQuAD、NewsQA、TriviaQA和HotpotQA，三个域外基准为DROP、DuoRC和RelationExtraction，教师与学生分别取T5-Large对T5-Base、Qwen2.5-7B-IT对Qwen2.5-1.5B-IT。反事实只对实体型答案的样本生成，答案被归入人物、地点、组织、日期或数值五类，其余样本被排除。论文把扩展到其他答案类型和其他生成任务列为后续方向。
几何分析依赖三个理想化条件：上下文扰动有界、学生与教师在配对样本上答案一致、反事实在边界上分布足够广。论文指出，生成式模型的行为本身带有随机性，教师未必产生目标替代答案，改动后的上下文也可能只带来有限的预测增益，因此才需要CFD在蒸馏前做验证。CFD阈值对结果敏感：阈值过严时收益可忽略，中等阈值收益最大，阈值继续放宽后收益逐步下降。