让模型学会说“我不知道”:换掉答题策略不如加一个答案筛选器,TriviaQA覆盖率从20.2%升到30.9%
在Qwen3-14B的事实问答上,固定生成器、另训一个答案筛选器,比直接训练模型何时弃答更有效。TriviaQA上,筛选器把平均覆盖率从原模型校准置信度过滤的20.2%提高到30.9%,同时把已作答答案的合并错误率从23.0%降到14.5%;但换到NQ-Open,其平均效用仍低于全部弃答,跨数据集可靠弃答仍未解决。
在Qwen3-14B的事实问答上,固定生成器、另训一个答案筛选器,比直接训练模型何时弃答更有效。TriviaQA上,筛选器把平均覆盖率从原模型校准置信度过滤的20.2%提高到30.9%,同时把已作答答案的合并错误率从23.0%降到14.5%;但换到NQ-Open,其平均效用仍低于全部弃答,跨数据集可靠弃答仍未解决。
Porcedda 构建了 Sys1Cal-v1——一个由 92 个概率问题渲染成 365 个真/假条目的合成数据集,其命题概率由构造已知——并用总变差距离与分布重叠(软准确率)评估 Jev 的 Noul、Choice、Score 三个原语以及开源基线 SemIf,发现 Jev 的 Choice 概率被系统性扭曲,而用一个从 Score 期望估计出的潜在“不确定”第三真值分量反演校正后,Choice 的中位软准确率从 0.771 提升到 0.978。
该预印本在去重控制的图像级划分下训练了五个骨干网络(387张甲状腺超声图像、1,332个细针穿刺细胞学图像块,标签来自术后诊断),并将冻结模型分别用于TN3K(n=1,228,数据集自带良恶性标签)和DDTI(n=637,由放射科TI-RADS类别派生的二分类终点),结果显示超声集成模型在TN3K上AUROC为0.825、ResNet-50为0.888,而在TI-RADS派生终点上AUROC仅为0.477和0.437,细胞学基准AUROC为0.986(0.970–0.998)对比超声集成0.733,作者强调由于队列、采集与终点同时变化,这一对比不能归因于标签定义本身。
已读完全部报道