跳到主要内容
返回时间线
arXiv来源发表:

SelPI把预测、区间与弃权放进同一次训练:宽度阈值在18个表格数据集上被证明会挑错样本

核心概要

回归模型在高风险决策中需要同时给出点估计、风险区间和弃权选项,而此前区间方法与选择性预测各自只提供其中一部分。SelPI把区间头、取值头和两个弃权门放在同一个损失下联合训练,并用Fréchet惩罚把两个门的预算与联合接受率绑定。在18个表格基准上,区间宽度能较好预测大的点误差,却与区间未命中呈负相关,因此按宽度弃权会丢掉区间本来正确的输入;固定基础预测器后,学到的门在全部18个表格数据集上按区间评分优于宽度阈值,并随任务异方差性增强而扩大优势。

Source-provided article image: Selective Prediction Intervals: Jointly Learning to Predict, Bound, and Abstain
arXiv

深度剖析

SelPI让一个回归模型在一次前向中同时给出区间、区间内的点估计和是否作答的决定,弃权由两个分别针对区间未命中与取值位置误差的门共同决定。 此前预测区间方法对每个输入都作答,选择性预测方法只对点预测学习弃权,接受集上不带风险陈述。 在18个表格基准上,区间宽度对大的点误差有较好的排序能力,但与区间未命中呈负相关,说明按宽度弃权会系统性地丢掉区间正确的输入。

两个门各自用自己负责的损失训练,并各带一个接受预算,输入只有同时被两门接纳才作答。 单一门必须用一个标量同时编码两种失败模式,两者的平衡由损失权重隐式决定,而不是由决策者设定。 Fréchet惩罚在两个门的联合接受率低于其预算所隐含的下限时触发,把两个独立预算与实际交付的联合接受率绑定;在固定基础预测器下,学到的门在全部18个表格数据集上按合适的区间评分优于宽度阈值,并缩小了与理想选择器差距的中位数。

启示与展望

演示范围是18个表格回归数据集与IPIV的两个图像任务,其中骨龄任务只有单一200张图像的测试划分,被视为示意性结果,IMDB-WIKI用五折交叉验证作为可靠的图像基准;接受集不带有限样本覆盖保证,弃权决定应读作预测难度的学习信号,而非安全性认证。

优势随残差异方差性增强,在接近确定性的任务上消失,IMDB-WIKI上单门在五个可比接受率中的三个更好;分布偏移分析用已知误差挑选协变量尾部,因此不能声称优势随偏移严重程度增长,也未覆盖图像任务。