跳到主要内容
返回时间线
arXiv来源发表:

模拟推断不再只训后验网络:把摘要统计量当主角,训练量随观测维度只按多项式增长

核心概要

模拟推断把低维摘要统计量与摊销后验估计器联合训练,并给出非渐近保证:在指数族与光滑模型两类设定下,达到目标精度所需的训练样本量只随观测维度多项式增长,而不是经典非参数条件分布估计中的指数增长。

AI-generated editorial illustration: Neural Estimation of Summary Statistics for Simulation-Based Inference with Non-Asymptotic Guarantees

深度剖析

模拟推断(SBI)在似然无法写出时用模拟数据训练神经网络逼近后验,新框架把低维摘要统计量的学习当作核心对象,而不是只把摘要网络当作后验估计器的附属结构。 此前的做法要么用后验均值这类神经近似当摘要,要么像 BayesFlow 那样以全局摊销后验估计器为主、摘要网络只服务于这个全局估计器。 在四峰对称后验的玩具基准上,把每个参数经逆球极投影映射到球面后,基于摘要的方法在 MMD 与切片 Wasserstein 距离上都低于逐观测基线 NLE 和 TD-NPSE;不加摘要的 SNPE-C 在高维观测上表现很差。

摘要映射与推断网络被联合训练:摘要网络把高维数据压成低维向量,推断网络从这个向量重建参数的后验分布,训练目标是最小化全数据后验与摘要条件后验之间的差异。 KL 散度目标要求推断网络给出可归一化的条件密度,例如可逆的归一化流;改用最大均值差异(MMD)或切片 MMD 后,目标可以直接从推断网络生成的样本估计,网络不必有可解密度。 切片 MMD 把高维核计算换成随机一维投影上的一元计算,当核带宽取定时,获得有效梯度所需的样本数只随参数维度线性增长;在 SIR、Lotka–Volterra 和无线电传播三个基准上,摊销训练之后再用 ABC–MCMC 做局部精修还能进一步降低偏差。

启示与展望

这项工作面向需要在似然不可解时做贝叶斯推断的研究者与工程师,适用场景是模拟器可运行、观测维度较高、且摊销推断可被复用的任务。理论部分针对独立同分布数据:指数族设定下存在可加充分统计量,大样本设定下借助 Bernstein–von Mises 定理把后验近似为高斯。实验覆盖四峰玩具基准、SIR、Lotka–Volterra 与一个真实无线电传播数据集。

大样本推论要求样本量足够大,可达到的精度是根号 n 阶而非任意精度,因为一般模型不存在低维充分统计量,后验与高斯极限之间的差异构成不可约误差。局部精修引入 ABC 容差与有限蒙特卡洛采样带来的额外误差,精修后的后验常偏保守、出现一定过度覆盖。理论保证针对独立同分布数据,依赖数据下的对应保证留作未来工作;用贝叶斯合成似然替代 ABC 作为精修目标,需要摘要条件于参数近似高斯,当前目标并不保证这一性质。