证据深度学习的证据总量有上限:在置信度接近1时,活跃集收缩到只剩一个类
证据深度学习用狄利克雷分布参数表示分类不确定性,但标准目标在高置信度下会出现证据收缩。这项工作在盒约束上分析正则化狄利克雷似然的优化地形,证明二阶充分条件等价于一个标量自洽函数导数为正,并给出保证有限步收敛的枚举算法。在CIFAR-10训练的ResNet-18输出的logit上,总证据随置信度单调上升却始终不超过约19.75的理论阈值,活跃集从约2.05个类收缩到1个。
证据深度学习用狄利克雷分布参数表示分类不确定性,但标准目标在高置信度下会出现证据收缩。这项工作在盒约束上分析正则化狄利克雷似然的优化地形,证明二阶充分条件等价于一个标量自洽函数导数为正,并给出保证有限步收敛的枚举算法。在CIFAR-10训练的ResNet-18输出的logit上,总证据随置信度单调上升却始终不超过约19.75的理论阈值,活跃集从约2.05个类收缩到1个。
该工作为节点分类中的认知不确定性提出首个统计框架,包含信息增长实验协议与一致性判据,并借助投影图数据生成过程保证嵌套图来自同一过程;分析表明图证据深度学习(EDL)方法在总体最优处保留非消失的认知不确定性、且其认知与偶然不确定性由超参数外部调节,从而不满足一致性,而图自助集成(GB-Ens)通过图重采样与随机训练同时刻画数据与过程不确定性,在相同协议下表现出超越标准深度集成的认知不确定性收缩。
作者提出 CLEAR,一种轻量、任务无关的后处理方法:用留出的校准数据刻画模型潜空间的组条件几何结构,在推理时于潜空间生成扰动视图并度量其与预测组校准几何的冲突,据此对潜空间不一致的输入选择性降低证据强度,从而在不重训练、不改变基础预测的前提下提升证据学习的鲁棒性;在 ImageNet→CUB 上 OOD 与对抗 AUROC 分别提升 8.29 和 5.01,运行速度比竞争性后处理方法快 17.4 倍,并在分类、回归与目标检测基准上保持预测性能。
已读完全部报道