# AdamMe

AdamW 的固定点恰好是一个带约束与正则项的隐式目标的驻点，但这些驻点未必在 AdamW 自身动力学下稳定。分析在连续时间极限下给出一维精确稳定性条件与高维充分条件，并构造出即使强凸目标也可能失稳、常见动量设置下轨迹持续振荡而不收敛的例子。把权重衰减按梯度更新强度重新缩放得到的 AdamMe 保留同一组固定点，并具备保证有界轨迹收敛的 Lyapunov 函数。

AdamW 的固定点恰好是一个带约束与正则项的隐式目标的驻点，但这些驻点未必在 AdamW 自身动力学下稳定。分析在连续时间极限下给出一维精确稳定性条件与高维充分条件，并构造出即使强凸目标也可能失稳、常见动量设置下轨迹持续振荡而不收敛的例子。把权重衰减按梯度更新强度重新缩放得到的 AdamMe 保留同一组固定点，并具备保证有界轨迹收敛的 Lyapunov 函数。