让模型学会说“我不知道”:换掉答题策略不如加一个答案筛选器,TriviaQA覆盖率从20.2%升到30.9%
在Qwen3-14B的事实问答上,固定生成器、另训一个答案筛选器,比直接训练模型何时弃答更有效。TriviaQA上,筛选器把平均覆盖率从原模型校准置信度过滤的20.2%提高到30.9%,同时把已作答答案的合并错误率从23.0%降到14.5%;但换到NQ-Open,其平均效用仍低于全部弃答,跨数据集可靠弃答仍未解决。
在Qwen3-14B的事实问答上,固定生成器、另训一个答案筛选器,比直接训练模型何时弃答更有效。TriviaQA上,筛选器把平均覆盖率从原模型校准置信度过滤的20.2%提高到30.9%,同时把已作答答案的合并错误率从23.0%降到14.5%;但换到NQ-Open,其平均效用仍低于全部弃答,跨数据集可靠弃答仍未解决。
已读完全部报道