# 隐式偏置

深层线性对角网络的训练极限此前只在梯度流（步长趋于零的连续版本）下被刻画，隐式偏好完全由初始化决定。该分析把离散的梯度下降与随机梯度下降本身写成受扰动的镜像梯度下降，在任意层数下证明迭代点收敛，并把极限解刻画为一个以扰动后初始化为参数的凸极小问题。扰动幅度随步长线性缩小，极限因此对应加权L1极小化，权重同时依赖初始化、步长与整条迭代轨迹。

深层线性对角网络的训练极限此前只在梯度流（步长趋于零的连续版本）下被刻画，隐式偏好完全由初始化决定。该分析把离散的梯度下降与随机梯度下降本身写成受扰动的镜像梯度下降，在任意层数下证明迭代点收敛，并把极限解刻画为一个以扰动后初始化为参数的凸极小问题。扰动幅度随步长线性缩小，极限因此对应加权L1极小化，权重同时依赖初始化、步长与整条迭代轨迹。