谱偏差不在波数基里:算子学习的误差由训练核特征方向决定,稠密网络各波数误差几乎一样大
在一维离散泊松算子上训练五类算子模型后,误差并不按波数依次被学会,而是滞留在驱动训练更新的核的小特征值方向上。正弦基对齐的谱算子与线性傅里叶神经算子每个波数各有学习速率,误差堆在高波数;稠密网络的特征方向在正弦基里接近随机,误差在各波数几乎等幅,相对误差随波数上升只因真实解谱在衰减。去掉小批量带来的样本间耦合项后,GELU 稠密网络在两种强迫下低于 ηλ≈8×10⁻⁵ 的平方误差份额都不到 0.1%。
在一维离散泊松算子上训练五类算子模型后,误差并不按波数依次被学会,而是滞留在驱动训练更新的核的小特征值方向上。正弦基对齐的谱算子与线性傅里叶神经算子每个波数各有学习速率,误差堆在高波数;稠密网络的特征方向在正弦基里接近随机,误差在各波数几乎等幅,相对误差随波数上升只因真实解谱在衰减。去掉小批量带来的样本间耦合项后,GELU 稠密网络在两种强迫下低于 ηλ≈8×10⁻⁵ 的平方误差份额都不到 0.1%。
神经算子训练需要昂贵的数值解标签,而PDE输入和控制方程本身是廉价的物理信息。PI-Init把这份廉价信息用在初始化上:先在无标签输入上用物理损失预训练,再保留参数做监督微调。在Burgers、1D Advection等基准上,同等标签预算下FNO预测误差分别降低53.3%和62.7%,Burgers上仅用200条标签轨迹即优于监督训练用2000条。
已读完全部报道