让模型学会说“我不知道”：换掉答题策略不如加一个答案筛选器，TriviaQA覆盖率从20.2%升到30.9%
导语
在Qwen3-14B的事实问答上，一个单独训练的答案筛选器把TriviaQA的平均覆盖率从原模型校准置信度过滤器的20.2%提高到30.9%，同时把已作答答案的合并错误率从23.0%降到14.5%，而所测试的强化学习改动没有给出一致增益。
正文
在短事实问答里，决定“要不要把答案说出来”可以交给一个独立于生成器的筛选器，而不是改动生成答案的模型本身。 此前的做法是让原模型自己给出置信度，再用一个校准过的阈值过滤答案；在TriviaQA上，这个过滤器平均只放出20.2%的问题，且放出的答案里有23.0%是错的。 在2,000道TriviaQA测试题、两个未参与策略训练的阈值0.65和0.85上，筛选器把平均覆盖率提到30.9%、合并错误率降到14.5%，平均效用从0.02418升到0.04248，配对提升0.01830，99%自助区间为[0.01041, 0.02593]，三个训练种子各自都为正。
筛选器的工作方式是给“这个候选答案对不对”单独学一个打分器，再用它决定放行还是回IDK。 原模型自带的P(True)打分只把True和False两个词的下一词概率归一化，再用逻辑回归做校准；筛选器则用一个独立的LoRA适配器，从问题和候选答案本身学习精确匹配的对错。 筛选器用原生成器为每道训练题产出的1个贪心加3个采样候选共8,000个例子训练，在500道校准题上单独拟合校准映射；在1,784个有效TriviaQA候选上，ROC AUC从原打分的0.779升到筛选器的0.852，校准后Brier从0.189降到0.154。
把同样的训练标签交给一个只做逻辑回归的对照，并不能复现筛选器的增益，说明增益来自学到了新的问题—候选特征，而不只是多了一批标签。 这个对照在原打分上做两次仿射变换，复合后仍是一个仿射变换，无法学出新的问题—候选特征。 校准后筛选器相对该对照的效用差为0.01834，99%区间[0.01041, 0.02602]，两个筛选器对比在99%水平上都为正。
接下来
这套结果覆盖Qwen3-14B、短英文事实问答、无检索、三个训练种子，评测阈值0.65和0.85未出现在策略训练中。筛选器与置信度过滤器都在答案生成之后增加一次打分步骤，训练与校准在TriviaQA上完成，再原样迁移到NQ-Open而不重新拟合。适合关注选择性预测与弃答机制的研究者和工程师阅读。
所测试的强化学习改动没有建立一致增益，三个对比的调整后区间都包含零，且差异方向随种子变化。NQ-Open上筛选器虽优于原校准过滤器，平均效用仍低于全部弃答的零，且0.85阈值处的结果只基于一个被放出的错误答案。人工复核只覆盖150个响应单元，采用AI提议标签加一人复核，不是两名独立标注者的一致结果，因此不能估计整个测试集的评分错误率。