arXiv 2026年10月5日该工作用可解析的事实回忆模型研究 Muon 的光谱正交化机制：在 S 个主体、R 个关系且 S>R 时，梯度流先学关系后学主体，学习时间比为 Θ̃(√(S/R))，而光谱梯度流把该比值降到 Θ̃(1)，并使主体与关系误差分别以 1/(T log T) 和 exp(-poly(T)) 衰减；梯度流与光谱梯度流对 token 嵌入的正交变换等变，Sign 梯度流则不等变，不同正交嵌入可导致无特征分离、长分离期甚至学习顺序反转。该工作用可解析的事实回忆模型研究 Muon 的光谱正交化机制：在 S 个主体、R 个关系且 S>R 时，梯度流先学关系后学主体，学习时间比为 Θ̃(√(S/R))，而光谱梯度流把该比值降到 Θ̃(1)，并使主体与关系误差分别以 1/(T log T) 和 exp(-poly(T)) 衰减；梯度流与光谱梯度流对 token 嵌入的正交变换等变，Sign 梯度流则不等变，不同正交嵌入可导致无特征分离、长分离期甚至学习顺序反转。Muon 的光谱正交化让线性 Transformer 更快学会事实：学习时间比从 √(S/R) 降到常数级该工作用可解析的事实回忆模型研究 Muon 的光谱正交化机制：在 S 个主体、R 个关系且 S>R 时，梯度流先学关系后学主体，学习时间比为 Θ̃(√(S/R))，而光谱梯度流把该比值降到 Θ̃(1)，并使主体与关系误差分别以 1/(T log T) 和 exp(-poly(T)) 衰减；梯度流与光谱梯度流对 token 嵌入的正交变换等变，Sign 梯度流则不等变，不同正交嵌入可导致无特征分离、长分离期甚至学习顺序反转。该工作用可解析的事实回忆模型研究 Muon 的光谱正交化机制：在 S 个主体、R 个关系且 S>R 时，梯度流先学关系后学主体，学习时间比为 Θ̃(√(S/R))，而光谱梯度流把该比值降到 Θ̃(1)，并使主体与关系误差分别以 1/(T log T) 和 exp(-poly(T)) 衰减；梯度流与光谱梯度流对 token 嵌入的正交变换等变，Sign 梯度流则不等变，不同正交嵌入可导致无特征分离、长分离期甚至学习顺序反转。