# 开卷问答

少样本蒸馏的效果高度依赖选哪些训练样本，靠近教师决策边界的事实样本反而会拖低蒸馏表现。CofFeQA把这类困难事实样本与反事实配对使用：反事实是只做最小改动、让教师改答另一个答案的上下文，从而在边界附近补充监督。在T5与Qwen2.5两个模型家族、五个域内和三个域外开放书问答基准上，相同少样本预算下它在多数设置中超过纯事实蒸馏基线，但并非每个设置都提升。

少样本蒸馏的效果高度依赖选哪些训练样本，靠近教师决策边界的事实样本反而会拖低蒸馏表现。CofFeQA把这类困难事实样本与反事实配对使用：反事实是只做最小改动、让教师改答另一个答案的上下文，从而在边界附近补充监督。在T5与Qwen2.5两个模型家族、五个域内和三个域外开放书问答基准上，相同少样本预算下它在多数设置中超过纯事实蒸馏基线，但并非每个设置都提升。