无限宽下的混沌边缘在有限宽网络里挪了位置：新初始化规则Crinit免去搜索，深层网络训练更快
核心概要
深度网络在权重与偏置方差平面上有一条“混沌边缘”，初始值落在这条线上时信号与梯度能逐层传递；以往这条线的位置只在无限宽极限下已知，有限宽时是否移动、往哪移动存在分歧。该工作把两个输入间距离的对数当作随机游走，逐层算出其漂移与方差，得到有限宽下混沌边缘向更大权重方差移动，移动量随宽度减小。据此给出的初始化规则Crinit无需搜索即可把网络放到有限宽混沌边缘，在MNIST与Fashion-MNIST上比标准规则更准、训练步数更少。
深度剖析
有限宽网络的混沌边缘不再等同于无限宽公式给出的那条线，而是向更大的权重方差一侧移动，移动量随宽度增大而减小。 此前无限宽平均场理论给出混沌边缘的闭式位置，而有限宽下这一位置是否移动、朝哪个方向移动，解析展开与数值模拟给出过相互矛盾的结论。 对高斯权重，在精确有限宽递推模拟中测得的漂移变号位置与一阶公式在统计误差内一致；宽度越小，固定偏置下实测移动量比一阶公式越大，超出部分随宽度增大而缩小。
两个输入间距离的对数在逐层传播中做随机游走，其漂移决定典型网络里距离是增长还是收缩。 平均场理论把每层对神经元的平均替换为期望值，有限宽下这一平均会逐层涨落，涨落对两个输入之间距离的影响此前没有被完整算出。 沿无限宽混沌边缘的模拟中，漂移公式与实测值相差百分之一到百分之二，方差相差几个百分点，最小宽度处最大到百分之十一。
反向传播的梯度走同一条随机游走，因此同一个有限宽混沌边缘也让典型梯度既不消失也不爆炸。 此前梯度消失与爆炸通常被当作与信号传播分开的问题处理，而这里两者由同一个漂移条件决定。 输出下方若干层的梯度平方中位数在无限宽混沌边缘上远小于输出处的值，在有限宽混沌边缘上则保持在同一量级；MNIST图像上交叉熵损失的真实梯度在误差内符合同一游走。
沿混沌边缘，输入相似度的信息在压缩超过约1纳特之前保持不变，这给出在线上选点的依据，并由此得到无需搜索的初始化规则Crinit。 混沌边缘只固定权重与偏置方差的一个组合，留下稳态信号大小自由，此前没有测量给出该选在哪里的定量依据。 在MNIST上宽度512、深度32与深度64的网络中，Crinit的准确率为0.9517与0.903，标准He规则为0.9392与0.567，LeCun规则为0.9438与0.713；深度64时Crinit用49791步达到训练精度，平均场混沌边缘用50488步。
启示与展望
结论针对初始化时刻的全连接网络，权重取高斯或正交分布，激活函数为tanh类或ReLU类；训练验证使用MNIST与Fashion-MNIST两个小数据集、两种宽度与两种深度，且不含归一化层与跳连。理论中的展开要求信号在远少于n层的深度内稳定下来，否则逐层涨落会在信号稳定之前累积。
一阶移动公式在零偏置线末端失效，那里需要非线性求解而非线性化；正交权重下实测移动比理论小约四倍，符号与高斯情形相反，作者称尚未查明原因。训练实验主要检验的是工作点与第一层设置，修正项在误差内不改变最终准确率，只体现在训练速度上。在深而窄的网络中，零偏置点压缩超过预算，Crinit无法用非负偏置方差降低压缩。