梯度下降的隐式偏好不再只由初始化决定：步长把极限解推向带扰动的加权L1极小点
核心概要
深层线性对角网络的训练极限此前只在梯度流（步长趋于零的连续版本）下被刻画，隐式偏好完全由初始化决定。该分析把离散的梯度下降与随机梯度下降本身写成受扰动的镜像梯度下降，在任意层数下证明迭代点收敛，并把极限解刻画为一个以扰动后初始化为参数的凸极小问题。扰动幅度随步长线性缩小，极限因此对应加权L1极小化，权重同时依赖初始化、步长与整条迭代轨迹。
深度剖析
深层线性对角网络在离散梯度下降下的极限解，现在有了与梯度流情形并列的完整刻画，而不只是连续时间近似。 此前的隐式偏好结论主要针对梯度流，即把步长取为零的连续极限；针对离散梯度下降的结果要么限于两层网络，要么借助欧拉离散化误差，需要指数小的步长或承受指数大的误差。 在任意层数下，只要步长满足给定的上界条件，迭代点序列被证明收敛，且极限被刻画为某个严格凸极小问题的唯一解。
做法是把参数层面的梯度下降翻译成端到端参数上的受扰动镜像梯度下降，从而可以沿用镜像方法的收敛工具。 镜像梯度下降是在非欧几里得几何中做优化的迭代格式，每一步用布雷格曼散度约束线性化目标；这里额外加入一个扰动项，用来吸收离散更新与连续动力学之间的差异。 分析先在所有权重初始为正的正模型上完成，再通过把解拆成正部和负部、参数数量翻倍的差分模型，推广到含负分量的解；随机梯度下降版本用鞅论证明几乎必然收敛。
极限解的权重不再只由初始化决定，步长和整条轨迹也进入权重，但这一额外依赖随步长线性消失。 梯度流情形下，极限是权重仅依赖初始化的加权L1极小解，均匀初始化时退化为无权重L1极小化；梯度下降情形下权重改为依赖扰动后的初始化。 扰动初始化与原始初始化之差的范数被证明随最大步长线性缩放，因此步长趋于零时结果回到梯度流刻画；数值实验在中等步长下也观察到这一线性依赖。
启示与展望
结论针对线性对角网络：激活函数取恒等、偏置为零、各层权重为对角矩阵，且采用权重共享的平衡初始化；分析覆盖正模型与把解拆成正负两部分的差分模型，并延伸到小批量随机梯度下降。收敛与极限刻画以步长满足给定上界为前提，数值实验在环境维度、测量数与稀疏度固定的高斯测量设定下进行。
步长上界是充分条件而非必要条件，数值实验中步长超过该界时仍观察到收敛，说明条件并不紧。误差向量依赖整条迭代轨迹与梯度，其显式形式只在证明中给出。关于小初始化导致收敛变慢的讨论，作者明确指出缺少匹配的下界，因此不构成严格证明。