跳到主要内容
返回时间线
arXiv来源发表:

ReLU特征乘上单位分解门:回归谱偏置不再随窗口数增长,泊松问题却把最慢模式换成低频

核心概要

浅层ReLU模型里,高频分量学得慢的谱偏置与特征字典的Gram矩阵条件数直接相关。把每个ReLU特征乘以帽形单位分解权重后,Gram矩阵对任意局部双线性形式都呈块三对角,其块Toeplitz符号决定各频率的学习速率。回归损失下符号远离零,匹配模型规模时频率相关学习速率的实测离散度从四个数量级降到五倍以内;刚度矩阵下符号在零频处消失,门控不改善条件数,反而把最慢模式变成低频。

Source-provided article image: Spectral Bias Reduction in Local Gated ReLU Architectures
arXiv

深度剖析

把每个ReLU特征乘以帽形单位分解权重,得到的门控局部字典仍是浅层网络、仍对可训练参数线性,但Gram矩阵对任何局部双线性形式都变成块三对角。 此前的全局ReLU字典Gram矩阵接近均匀网格上的有限元质量矩阵,其特征值条件数随特征数呈四次方增长,这正是浅层ReLU网络强谱偏置的来源。 在匹配参数量的回归实验中,全局字典的频率相关上升时间跨越五个数量级,门控字典则保持在五倍以内;门控质量矩阵的条件数在测试规模上几乎不动,最大规模处的数值与解析极限吻合。

块三对角的内部是块Toeplitz矩阵,其矩阵值符号把架构与训练动力学连起来:符号在门网格支持的频率上取值,给出每个频率的学习速率,最快与最慢速率之比就是谱偏置因子。 此前的神经正切核分析描述的是固定核,对有限宽度架构该如何修改给出的指引有限;这里改用有限维Gram矩阵视角,把偏置归到架构直接控制的结构矩阵符号上。 回归情形下符号有正下界,谱偏置因子对窗口数一致有界;刚度情形下符号在零频处为零,谱偏置因子随模型规模二次增长,且频率顺序被反转,最慢模式变成最低频。

同一符号还能导出预条件子:由内部模板构造的块Toeplitz预条件子把学习速率中的频率依赖精确消掉,只剩边界效应。 门控本身无法改变刚度矩阵符号在零频处消失这一事实,换门剖面或节点模式都无济于事,因为原因属于双线性形式而不属于字典。 在泊松问题上,该预条件子把门控刚度矩阵的实测离散度压低,上升时间缩短约二点五倍,并在整个频带上把曲线拉平;随机相位目标下,未预条件的离散度在五个随机种子上波动很大,预条件后每个种子都落在更窄的区间内。

启示与展望

分析针对一维、线性于可训练参数的浅层ReLU模型,字典固定,结论由块Toeplitz符号给出;回归结论在隐层阈值也参与训练时以经验方式复现,但此时Gram矩阵沿轨迹变化,解析预测不再直接适用。

边界处理并不完全严格,更精确的变体会修正分解中的边界层项,但不改变内部符号及其推论;可训练阈值与预条件输出层结合的桥接未扩展到刚度情形,因为快慢动力学耦合的方式不够稳健;向深层架构推广时符号将不再固定。