主动学习挑高不确定性样本未必更快：校准后的置信度在分布外数据上通常没跑赢随机抽样
核心概要
材料与分子性质预测的主动学习常把高不确定性样本当作模型缺失的信息。形成能、带隙和溶解度三项任务上，不确定性分别来自损失景观采样与多种子重训集成，再用线性校准因子和神经网络校准。校准后的不确定性在分布外数据上通常未能减少模型改进所需的数据量，与随机抽样和未校准估计相比没有优势，且各方法误差棒相互重叠。
深度剖析
主动学习按不确定性挑样本，在分布外数据上不一定比随机抽样更快让模型变好。 此前常默认随机森林等模型的不确定性天然可靠，或认为经过校准就能用于探索式采样。 形成能任务中，训练数据剔除含氟化合物、查询池为含氟化合物时，随机抽样在加入约20%的分布外训练数据之前优于或持平于各种不确定性最大化方法，损失景观不确定性直到约50%的查询池被加入才追平随机抽样。
不确定性可以来自对单个已训练模型权重的扰动采样，而不只靠多次重训。 损失景观方法沿Hessian最大与最小特征向量方向插值权重，保留损失低于阈值0.1的模型，再对其参数的高斯近似采样50次，得到500个模型的预测标准差。 在形成能、带隙和溶解度三项任务上，这套损失景观集成与用不同随机种子重训五个模型得到的随机集成做了对照，两者在分布内测试数据上的校准误差都较低。
用分布内残差拟合的校准模型迁移到分布外数据时，效果不稳定。 校准因子法假设不确定性与残差成线性关系，神经网络法则用可微软最大化近似直方图校准。 带隙任务中，校准因子法因分布内测试残差非高斯而失效；神经网络校准在分布内数据上持续优于校准因子法，但在分布外数据上校准因子法略好。
同样的现象在随机森林和XGBoost上重现，说明它至少部分来自数据本身。 树模型使用模型内在不确定性和委员会预测分歧，而不是损失景观集成。 形成能任务上，随机森林和XGBoost的随机抽样同样与不确定性最大化表现相当或更好，与ALIGNN上的趋势一致。
启示与展望
结论建立在JARVIS 3D DFT数据集的形成能与带隙任务、MoleculeNet的ESOL溶解度任务，以及ALIGNN、随机森林、XGBoost和多层感知机这几类模型上，分布内与分布外划分按剔除氟或铁元素以及聚类方式构造。
主动学习曲线中不同方法的误差棒相互重叠，作者据此说明不存在单一最优的分布外采样方法；校准因子法在带隙任务上因分布内残差非高斯而失效，作者也指出校准对分布内与分布外不确定性分布没有显著影响。