证据深度学习的证据总量有上限：在置信度接近1时，活跃集收缩到只剩一个类
核心概要
证据深度学习用狄利克雷分布参数表示分类不确定性，但标准目标在高置信度下会出现证据收缩。这项工作在盒约束上分析正则化狄利克雷似然的优化地形，证明二阶充分条件等价于一个标量自洽函数导数为正，并给出保证有限步收敛的枚举算法。在CIFAR-10训练的ResNet-18输出的logit上，总证据随置信度单调上升却始终不超过约19.75的理论阈值，活跃集从约2.05个类收缩到1个。
深度剖析
正则化狄利克雷似然在盒约束上的驻点具有阈值结构：证据向量中高于某个阈值的类被激活，其余类固定在边界1上，且活跃集按证据大小构成上切片。 此前对证据深度学习目标的批评集中在统计不一致性，即估计量相对真实数据分布的行为，而固定证据向量下解集的几何结构没有被刻画。 该结构由阈值函数随总证据严格递减、以及单类方程随参数严格递减两条单调性推出，退化情形单独讨论。
二阶充分条件可以化成一个标量不等式，即自洽函数的导数大于零，从而把高维海森矩阵的正定性判断降为一维。 标准投影牛顿法的收敛结论依赖海森矩阵整体正定，而阈值函数的非线性自洽结构使这一结论无法直接搬用。 借助Sherman-Morrison公式，活跃面上的约化海森矩阵正定等价于自洽函数导数大于零，两者互为充要条件。
目标函数在盒约束域上并非全局凸，但按活跃集大小逐面枚举可以保证对几乎所有证据向量找到全局最小。 此前没有针对该目标的全局最优性保证，通用拟牛顿法在盒约束附近病态几何下会误判活跃集。 在K=10、λ=0.1、1000组合成配置上，混合紧核牛顿法的活跃集识别准确率为100.0%，L-BFGS-B为63.8%，投影梯度法为67.4%。
总证据存在一个不可逾越的饱和阈值，任何证据向量下的驻点都低于它，这解释了高置信度下活跃集稀疏化与不确定性指标退化。 证据收缩此前被当作训练异常，并用启发式正则化修补，而没有归因于狄利克雷-KL地形本身。 在ResNet-18于CIFAR-10训练、在SVHN等分布外数据上测试的logit上，各置信度分箱的平均总证据最高为19.14，从未越过约19.75的阈值，违反率为0%。
启示与展望
分析针对固定证据向量下的单样本优化地形，实验使用K=10、λ=0.1的合成配置，以及一个在CIFAR-10上训练的ResNet-18在SVHN、CIFAR-100、Textures和对抗样本上的logit。作者提出后续将求解器扩展到主观逻辑与Dempster-Shafer等证据框架，并接入实时安全攸关推理流程。
分析不涉及训练动力学，即随机梯度下降如何在多轮训练中穿行这一非凸地形。全局最优性保证排除了自洽函数导数为零的测度零退化情形，这些退化层的完整代数分类仍是开放问题。