ReLU特征乘上单位分解门:回归谱偏置不再随窗口数增长,泊松问题却把最慢模式换成低频
浅层ReLU模型里,高频分量学得慢的谱偏置与特征字典的Gram矩阵条件数直接相关。把每个ReLU特征乘以帽形单位分解权重后,Gram矩阵对任意局部双线性形式都呈块三对角,其块Toeplitz符号决定各频率的学习速率。回归损失下符号远离零,匹配模型规模时频率相关学习速率的实测离散度从四个数量级降到五倍以内;刚度矩阵下符号在零频处消失,门控不改善条件数,反而把最慢模式变成低频。
浅层ReLU模型里,高频分量学得慢的谱偏置与特征字典的Gram矩阵条件数直接相关。把每个ReLU特征乘以帽形单位分解权重后,Gram矩阵对任意局部双线性形式都呈块三对角,其块Toeplitz符号决定各频率的学习速率。回归损失下符号远离零,匹配模型规模时频率相关学习速率的实测离散度从四个数量级降到五倍以内;刚度矩阵下符号在零频处消失,门控不改善条件数,反而把最慢模式变成低频。
在一维离散泊松算子上训练五类算子模型后,误差并不按波数依次被学会,而是滞留在驱动训练更新的核的小特征值方向上。正弦基对齐的谱算子与线性傅里叶神经算子每个波数各有学习速率,误差堆在高波数;稠密网络的特征方向在正弦基里接近随机,误差在各波数几乎等幅,相对误差随波数上升只因真实解谱在衰减。去掉小批量带来的样本间耦合项后,GELU 稠密网络在两种强迫下低于 ηλ≈8×10⁻⁵ 的平方误差份额都不到 0.1%。
薄壁结构的超声导波检测通常要靠有限元反复计算或密集扫描取得无损伤基线。PI-SIREN 把 Mindlin–Reissner 板理论的耦合弹性动力学方程嵌入正弦激活网络的训练损失,在频域内由稀疏测量重建稳态波场,无需时间离散。数值消融中完整优化流程的测试误差为 0.1037,实验里该替代模型作为基线,从稀疏测量中定位出背面铣削缺口,而同样规模的普通多层感知机基线一个缺陷也定位不出来。
已读完全部报道