谱偏差不在波数基里：算子学习的误差由训练核特征方向决定，稠密网络各波数误差几乎一样大
核心概要
在一维离散泊松算子上训练五类算子模型后，误差并不按波数依次被学会，而是滞留在驱动训练更新的核的小特征值方向上。正弦基对齐的谱算子与线性傅里叶神经算子每个波数各有学习速率，误差堆在高波数；稠密网络的特征方向在正弦基里接近随机，误差在各波数几乎等幅，相对误差随波数上升只因真实解谱在衰减。去掉小批量带来的样本间耦合项后，GELU 稠密网络在两种强迫下低于 ηλ≈8×10⁻⁵ 的平方误差份额都不到 0.1%。
深度剖析
谱偏差被重新定位：它属于支配训练更新的那个核的特征基，而不属于通常用来报告它的波数基。 此前的解释假定每个模式按随波数递减的速率被学习，在神经正切核图像里训练沿核特征函数中最快收敛的是最大特征值对应的方向。 在平滑与白噪声两种强迫下，理想对角谱算子、线性与非线性傅里叶神经算子、GELU 稠密网络和深线性稠密网络这五个模型都表现出同一规律：未学会算子的模型，其误差落在核的小特征值方向上。
误差的大小由核的小特征值决定，误差在波数上的形状则由这些慢特征方向投影到正弦模式的方式决定。 慢速率可以来自数据谱、网络非线性经由样本间耦合，或表示本身的截断，三者对应不同的误差来源。 GELU 稠密网络在两种强迫下，完整堆叠核的累积误差质量达到独立测得的均方根误差，而把核换成去掉交叉项的分块对角形式后，低于 ηλ≈8×10⁻⁵ 的平方误差份额不到 0.1%。
稠密网络的慢特征方向在正弦基里与随机方向无法区分，因此每个波数分到同一份误差，形成平坦的误差底。 正弦对齐的模型每个波数有自己的速率，误差集中到高波数；平坦底则让相对误差随波数增长。 在平滑强迫下，线性傅里叶神经算子、非线性傅里叶神经算子、GELU 稠密网络和深线性稠密网络的最终均方根误差分别为 3.6×10⁻⁵、3.3×10⁻⁵、4.2×10⁻⁵ 和 2.6×10⁻⁴，谱形从上升锯齿到平坦不等。
启示与展望
结论建立在一维离散泊松逆算子、N=128 个内点、五种固定架构以及平滑与白噪声两种强迫集合之上，核统计取训练末段 100 步的平均。
核在训练过程中会移动，误差分解只在核近似固定的窗口内成立；作者也指出，堆叠核的结构难以在训练前预测，因此无法事先判断某个架构是否会出现谱偏差。