AdamW的收敛性被拆开看：不动点相同，稳定性却要看曲率、权重衰减与动量
核心概要
AdamW 的固定点恰好是一个带约束与正则项的隐式目标的驻点，但这些驻点未必在 AdamW 自身动力学下稳定。分析在连续时间极限下给出一维精确稳定性条件与高维充分条件，并构造出即使强凸目标也可能失稳、常见动量设置下轨迹持续振荡而不收敛的例子。把权重衰减按梯度更新强度重新缩放得到的 AdamMe 保留同一组固定点，并具备保证有界轨迹收敛的 Lyapunov 函数。
深度剖析
AdamW 的固定点可以写成一个静态隐式目标的驻点，该目标由参数约束和随参数变化的障碍型正则项组成，因此 AdamW 收敛时只能停在这个目标的驻点上。 此前对 AdamW 中解耦权重衰减的解释把它看作依赖优化器状态的动态惩罚，而不是一个只依赖参数的静态目标；同时 AdamW 一直没有一般的收敛性证明。 固定点条件与隐式目标驻点条件之间的等价被证明为双向的：满足前者当且仅当满足后者，且正则项在参数趋近约束边界时趋于无穷，使约束自然生效。
固定点相同并不等于稳定：AdamW 的稳定平衡点必须是隐式目标的严格局部极小，但局部极小还需要额外的 Hessian 界才稳定，因此存在隐式目标的严格局部极小在 AdamW 下不稳定。 对梯度流而言，严格局部极小自动渐近稳定、非退化鞍点自动不稳定；AdamW 不是隐式目标的梯度流，稳定性由它自身向量场的 Jacobian 决定，这一对应必须单独验证，而它在权重衰减非零时并不自动成立。 一维情形用三次特征多项式的 Routh–Hurwitz 判据给出精确条件；当权重衰减与动量系数关系使条件变成上界时，一个二次目标在给定参数下违反该界，其离散固定点同样不稳定；在常见动量区间则用一个非凸四次目标构造出违反下界、轨迹持续振荡的例子。
把权重衰减乘以与梯度更新强度相关的因子得到 AdamMe，该因子在每个平衡点等于一，因此固定点与隐式目标完全不变，而连续时间动力学获得了一个 Lyapunov 函数。 AdamW 的不稳定来自更新规则中一阶动量估计被二阶动量估计归一化、而参数上的权重衰减没有被同样归一化所造成的不匹配，而不是来自隐式目标本身。 在给定条件下，AdamMe 的 Lyapunov 函数沿轨迹非增，每条有界轨迹都趋近平衡点集合；在 GPT-2-Small（124M）上按各自调优的超参数训练，AdamMe 紧跟 AdamW 并取得略低的验证损失。
启示与展望
分析在精确（全批）梯度与无穷小步长的连续时间极限下进行，稳定性指该常微分方程平衡点的稳定性；离散时间 AdamW 的稳定性条件单独处理，一维情形给出精确判据，高维只给出充分条件。经验对照是一次 GPT-2-Small（124M）训练，两种方法各自调优学习率与权重衰减。
高维只给出充分条件，精确稳定性仍需计算完整 Jacobian 的谱。这种不收敛对大规模神经网络训练的影响尚不清楚：网络不必收敛也有用，实验中训练似乎对这种不稳定并不敏感。离散时间 AdamW 的稳定性条件即使在一维也较复杂，因此单独列出。