# Adam优化器

在相同架构与数据下，仅凭训练好的检查点重建训练图像时，Muon 训练的模型泄露最多，Adam 训练的模型在评测攻击下最抗重建，优化器选择因此成为训练数据隐私的一个控制轴。

在相同架构与数据下，仅凭训练好的检查点重建训练图像时，Muon 训练的模型泄露最多，Adam 训练的模型在评测攻击下最抗重建，优化器选择因此成为训练数据隐私的一个控制轴。

训练损失尖峰此前难以在受控条件下复现，其成因也未被完全理解。研究者用带重尾幂律输入的简单二次模型（幂律随机特征模型）复现了尖峰，并把深度网络逐层训练动力学对齐到这类模型，给出轻量模拟算法。在1.3B参数Transformer语言模型的案例中，研究者改动AdamW的某个超参数以制造尖峰，模拟从第21k步检查点出发预测出Spiky1与Spiky2配置的凸起，而Normal配置相对平滑；由观测指标导出的调度在案例中改善了性能。

训练损失尖峰此前难以在受控条件下复现，其成因也未被完全理解。研究者用带重尾幂律输入的简单二次模型（幂律随机特征模型）复现了尖峰，并把深度网络逐层训练动力学对齐到这类模型，给出轻量模拟算法。在1.3B参数Transformer语言模型的案例中，研究者改动AdamW的某个超参数以制造尖峰，模拟从第21k步检查点出发预测出Spiky1与Spiky2配置的凸起，而Normal配置相对平滑；由观测指标导出的调度在案例中改善了性能。