TORNADO让PDE集合预报的噪声随状态变化:5次网络评估下校准误差比代表性基线低约2倍到5倍以上
核心概要
概率型PDE神经代理在少步推理时常常过度自信,预测分布比真实不确定性窄。TORNADO把下一步预测写成相邻两个VAE编码后验之间的随机输运,并让扩散幅度由神经网络随潜状态给出,而不是沿用固定的全局噪声表。在Kolmogorov、KS、Burgers、Gray-Scott四个合成数据集上,固定5次网络评估时它的校准误差最低,相对代表性基线约缩小2倍到5倍以上,同时保持可比的预测精度。
深度剖析
概率型PDE代理的预测分布现在可以按局部动力学状态调整宽度,而不必整条轨迹共用一张噪声表。 此前的扩散模型、流匹配和随机插值基线把注入的随机性写成只依赖辅助时间的全局扩散系数,因此噪声强度与当前状态无关。 在Kolmogorov、KS、Burgers、Gray-Scott四个合成数据集上,固定5次网络评估时TORNADO的校准误差最低,Kolmogorov与Burgers等代表性情形相对基线约缩小2倍到5倍以上,均方误差与CRPS保持可比。
做法是在潜空间里学一个伊藤随机微分方程,把下一帧的潜变量当作从当前帧后验出发、经若干步积分得到的样本。 漂移项和扩散幅度都由神经网络参数化,扩散幅度来自共享Transformer主干之外单独接出的扩散头,因此噪声大小随状态变化。 训练不需要对随机微分方程求解器做反向传播:在辅助时间上构造高斯插值,得到端点条件均值和协方差的闭式表达,再用能量距离项约束样本层面的分布对齐。
把扩散幅度换成常数或固定时间表都会让校准变差,说明增益来自随状态变化的扩散本身。 在共享同一训练好的漂移、同样5次评估的推理消融中,确定性欧拉积分给出过度自信的窄集合,常数幅度和固定时间表也各有偏差。 Kolmogorov流测试集上,TORNADO的校准误差为0.039,固定时间表为0.067,常数幅度为0.085,确定性欧拉为0.286。
启示与展望
评测覆盖APEBench生成的Kolmogorov流、Kuramoto–Sivashinsky、Burgers与Gray–Scott四个二维合成数据集,以及RealPDEBench的燃烧火焰成像和WeatherBench的ERA5再分析两个真实数据集;主结果取自回归滚动、固定集合规模、5次网络评估的少步推理设定。
学到的扩散幅度受VAE后验质量约束,后验过窄或过宽都会削弱校准;监督只约束局部端点矩,并未显式保证与插值过程完整连续时间边缘演化一致,两者与数值离散如何共同塑造端点分布仍是待研究的问题。
