跳到主要内容
返回时间线
arXiv来源发表:

神经过程默认输入无噪声:DnNP把去噪并入元学习,PM2.5插值RMSE最多降30%

核心概要

标准神经过程把输入当作无噪声观测,传感器测量误差会让预测和不确定性估计同时失真。DnNP在神经过程框架内把干净输入设为隐变量,用变分推断让一个去噪器与元学习联合训练,从而在含噪输入上直接给出预测。在马萨诸塞州布鲁克莱恩34个空气质量传感器采集的PM2.5空间插值数据上,相对标准神经过程,DnNP的RMSE最多降低30%、NLL最多降低73%。

Source-provided article image: DnNP: Denoising Input Uncertainty in Neural Processes
arXiv

深度剖析

神经过程家族多了一个显式处理输入噪声的成员:DnNP不再把带测量误差的坐标当成真值,而是把干净输入当作需要推断的隐变量,与函数级不确定性一起建模。 此前的神经过程变体,包括条件神经过程、潜变量神经过程、注意力神经过程和卷积条件神经过程,都假定输入无噪声;已有工作只处理标签噪声,含噪输入下的训练在神经过程中尚未被处理。 在马萨诸塞州布鲁克莱恩34个QuantAQ传感器、2024年5月24日至9月19日的PM2.5空间插值数据上,三种特征配置下DnNP的NLL和RMSE都优于标准神经过程,RMSE最多降低30%、NLL最多降低73%。

训练目标把去噪和预测放进同一个变分下界:预测重建项在去噪后的输入上评分,一个测量一致性项把去噪器绑定到已知噪声模型,两个KL正则项分别约束去噪器和潜变量编码器。 去噪器是一个逐输入作用的小型多层感知机,从带噪测量推断干净输入,潜变量编码器随后在去噪后的输入上工作;测试时先采样干净输入,再采样函数级潜变量,最后逐点预测。 在一维高斯过程回归、MNIST图像补全和两个真实空间插值数据集上评估;MNIST上DnNP在每个噪声水平的NLL和RMSE都优于在含噪输入上训练的标准神经过程,在低到中等噪声下接近无噪声基线。

启示与展望

演示范围是输入噪声在观测间独立的情形,覆盖一维高斯过程回归、MNIST图像补全、马萨诸塞州布鲁克莱恩的PM2.5空间插值和加州NOAA台站海平面气压插值;方法需要用户指定噪声模型与干净输入的先验。

空间相关的传感器偏差未被建模,去噪器按观测逐点作用;噪声模型与先验的设定会削弱神经过程原本的数据驱动特性,尽管对噪声水平的中等程度错设仍表现稳健。在加州海平面气压的(Lat, Lon, Temp)配置下,DnNP与标准神经过程的NLL统计上持平,RMSE仍有下降。