# 训练尖峰

训练损失尖峰此前难以在受控条件下复现，其成因也未被完全理解。研究者用带重尾幂律输入的简单二次模型（幂律随机特征模型）复现了尖峰，并把深度网络逐层训练动力学对齐到这类模型，给出轻量模拟算法。在1.3B参数Transformer语言模型的案例中，研究者改动AdamW的某个超参数以制造尖峰，模拟从第21k步检查点出发预测出Spiky1与Spiky2配置的凸起，而Normal配置相对平滑；由观测指标导出的调度在案例中改善了性能。

训练损失尖峰此前难以在受控条件下复现，其成因也未被完全理解。研究者用带重尾幂律输入的简单二次模型（幂律随机特征模型）复现了尖峰，并把深度网络逐层训练动力学对齐到这类模型，给出轻量模拟算法。在1.3B参数Transformer语言模型的案例中，研究者改动AdamW的某个超参数以制造尖峰，模拟从第21k步检查点出发预测出Spiky1与Spiky2配置的凸起，而Normal配置相对平滑；由观测指标导出的调度在案例中改善了性能。