# 单位分解

浅层ReLU模型里，高频分量学得慢的谱偏置与特征字典的Gram矩阵条件数直接相关。把每个ReLU特征乘以帽形单位分解权重后，Gram矩阵对任意局部双线性形式都呈块三对角，其块Toeplitz符号决定各频率的学习速率。回归损失下符号远离零，匹配模型规模时频率相关学习速率的实测离散度从四个数量级降到五倍以内；刚度矩阵下符号在零频处消失，门控不改善条件数，反而把最慢模式变成低频。

浅层ReLU模型里，高频分量学得慢的谱偏置与特征字典的Gram矩阵条件数直接相关。把每个ReLU特征乘以帽形单位分解权重后，Gram矩阵对任意局部双线性形式都呈块三对角，其块Toeplitz符号决定各频率的学习速率。回归损失下符号远离零，匹配模型规模时频率相关学习速率的实测离散度从四个数量级降到五倍以内；刚度矩阵下符号在零频处消失，门控不改善条件数，反而把最慢模式变成低频。