跳到主要内容
返回时间线
arXiv来源发表:

生成模型检验终会被大样本推翻:SIGMA把拟合误差当冗余参数,同一模型可多信一个数量级

核心概要

用有限训练集拟合的生成模型永远不等于真实密度,因此任何足够灵敏的拟合优度检验都会在测试样本足够大时拒绝它,即使模型族本身完全正确。SIGMA把高斯混合模型的参数不确定度用得分函数与Fisher信息写成可处理的协方差,再把传统点零假设检验升级为把这些不确定度作为冗余参数一并剖面化的复合零假设检验。在二维玩具模型和QCD背景的喷注嵌入基准上,计入不确定度后同一模型可在比标准检验大一个数量级的测试集上保持可信。

AI-generated editorial illustration: An end-to-end framework for uncertainty-aware validation of generative models

深度剖析

生成模型作为物理分析的参考密度时,需要的不只是拟合优度检验,还需要能把拟合本身的不确定度带进统计检验的验证流程。 此前的验证把拟合模型当作精确的点零假设,模型一旦被有限训练集拟合就必然与真值有偏差,测试集增大到能分辨这一偏差时检验就会拒绝它。 在一维标准正态示例中,模型族完全正确,拟合模型在小测试集上与真值不可区分,但测试样本量超过训练样本量后即以高显著性被拒绝,且任何一致的拟合优度检验都会出现这一趋势。

SIGMA用高斯混合模型描述密度,并在其最佳拟合附近的得分函数张成的切空间中刻画参数不确定度。 神经网络密度估计器参数众多且不可辨识,难以写出可参数化的不确定度,而集成方法的不确定度只覆盖已训练成员的权重。 高斯混合模型的参数在重标号意义下可辨识,其得分与Fisher信息可解析计算,从而得到渐近最大似然协方差,并把检验化为凸优化问题。

检验把拟合不确定度作为带高斯约束的冗余参数剖面化,使零假设从点假设变为复合假设,拒绝只反映数据无法被模型在其不确定度内解释的部分。 传统Neyman–Pearson似然比检验把参考模型视为精确,检验结果由测试集大小与训练集大小的关系驱动,而非模型质量。 在二维玩具模型中,点零假设检验的p值中位数在测试集超过训练集规模后开始下降,并在每个混合分量数下都塌到零;复合零假设配合参数自助法校准后,在测试集远大于训练集时仍保持校准。

在JetClass的QCD多喷注四维对比学习嵌入上,SIGMA对背景密度建模并给出闭合检验结果。 潜空间异常检测需要可靠的参考密度,而大样本模拟代价高昂,此前缺少带统计保证的背景估计。 点零假设检验在测试集尚未达到训练集规模之前就开始退化,高斯处方把校准维持到更大的测试集,自助法处方维持得更远,比点零假设大一个数量级。

启示与展望

演示范围限于解析真值已知的二维玩具模型,以及JetClass数据集中QCD多喷注在四维对比学习嵌入空间中的背景建模;作者说明方法适用于低维空间,并建议先把高维数据压缩为少量汇总统计量。

方法只覆盖有限训练样本与优化随机性带来的统计不确定度,不覆盖模型偏差,模型族无法表示数据时仍会被足够灵敏的检验拒绝;高斯处方要求渐近区间成立,自助法处方依赖拟合散布在真值与邻近密度下相似的假设,核宽度过窄时自助法校准会失效;分量数与截断超参数目前靠经验选取,且闭合检验需要与目标推断数据集同样大的留出样本。