# Muon优化器

在相同架构与数据下，仅凭训练好的检查点重建训练图像时，Muon 训练的模型泄露最多，Adam 训练的模型在评测攻击下最抗重建，优化器选择因此成为训练数据隐私的一个控制轴。

在相同架构与数据下，仅凭训练好的检查点重建训练图像时，Muon 训练的模型泄露最多，Adam 训练的模型在评测攻击下最抗重建，优化器选择因此成为训练数据隐私的一个控制轴。

MuonIO 针对标准 Muon 排除的嵌入表 E 与语言模型头 L，分别以 1→2 与 2→∞ 算子范数给出动机，并利用 ‖L‖_2→∞=‖Lᵀ‖_1→2 把两者统一为同一词汇导向几何下的单一归一化向量规则（E 为列归一化、L 为行归一化），在 C4 上 1B LLaMA 预训练中相比 Muon 将 I/O 优化器状态内存降低 50%、I/O 更新 FLOPs 降低约 46%，同时改善验证困惑度。

MuonIO 针对标准 Muon 排除的嵌入表 E 与语言模型头 L，分别以 1→2 与 2→∞ 算子范数给出动机，并利用 ‖L‖_2→∞=‖Lᵀ‖_1→2 把两者统一为同一词汇导向几何下的单一归一化向量规则（E 为列归一化、L 为行归一化），在 C4 上 1B LLaMA 预训练中相比 Muon 将 I/O 优化器状态内存降低 50%、I/O 更新 FLOPs 降低约 46%，同时改善验证困惑度。

该工作用可解析的事实回忆模型研究 Muon 的光谱正交化机制：在 S 个主体、R 个关系且 S>R 时，梯度流先学关系后学主体，学习时间比为 Θ̃(√(S/R))，而光谱梯度流把该比值降到 Θ̃(1)，并使主体与关系误差分别以 1/(T log T) 和 exp(-poly(T)) 衰减；梯度流与光谱梯度流对 token 嵌入的正交变换等变，Sign 梯度流则不等变，不同正交嵌入可导致无特征分离、长分离期甚至学习顺序反转。

该工作用可解析的事实回忆模型研究 Muon 的光谱正交化机制：在 S 个主体、R 个关系且 S>R 时，梯度流先学关系后学主体，学习时间比为 Θ̃(√(S/R))，而光谱梯度流把该比值降到 Θ̃(1)，并使主体与关系误差分别以 1/(T log T) 和 exp(-poly(T)) 衰减；梯度流与光谱梯度流对 token 嵌入的正交变换等变，Sign 梯度流则不等变，不同正交嵌入可导致无特征分离、长分离期甚至学习顺序反转。

该工作针对 Muon 优化器在动量累积与调优有限步 Newton–Schulz 正交化下的收敛问题，证明在足够宽的两层 ReLU 网络全批量训练中，只要学习率与 (1-μ)√ε 成正比，Muon 即可以高概率达到任意目标经验平方损失 ε，命中时间上界为 O((1-μ)^-1ε^-1/2)，且所需宽度与目标精度和动量无关。

该工作针对 Muon 优化器在动量累积与调优有限步 Newton–Schulz 正交化下的收敛问题，证明在足够宽的两层 ReLU 网络全批量训练中，只要学习率与 (1-μ)√ε 成正比，Muon 即可以高概率达到任意目标经验平方损失 ε，命中时间上界为 O((1-μ)^-1ε^-1/2)，且所需宽度与目标精度和动量无关。