Ashesh Chattopadhyay

在一维离散泊松算子上训练五类算子模型后，误差并不按波数依次被学会，而是滞留在驱动训练更新的核的小特征值方向上。正弦基对齐的谱算子与线性傅里叶神经算子每个波数各有学习速率，误差堆在高波数；稠密网络的特征方向在正弦基里接近随机，误差在各波数几乎等幅，相对误差随波数上升只因真实解谱在衰减。去掉小批量带来的样本间耦合项后，GELU 稠密网络在两种强迫下低于 ηλ≈8×10⁻⁵ 的平方误差份额都不到 0.1%。

在一维离散泊松算子上训练五类算子模型后，误差并不按波数依次被学会，而是滞留在驱动训练更新的核的小特征值方向上。正弦基对齐的谱算子与线性傅里叶神经算子每个波数各有学习速率，误差堆在高波数；稠密网络的特征方向在正弦基里接近随机，误差在各波数几乎等幅，相对误差随波数上升只因真实解谱在衰减。去掉小批量带来的样本间耦合项后，GELU 稠密网络在两种强迫下低于 ηλ≈8×10⁻⁵ 的平方误差份额都不到 0.1%。