# 梯度流

EDP-PI-DOSnet 把经典能量稳定格式嵌入物理信息算子分裂网络，使学习到的离散算子满足离散能量耗散律。此前的 PI-DOSnet 不保证学习到的线性算子对称负半定，预测中能量可能上升，长时外推还需两三轮重训。在 Allen–Cahn 方程上，EDP-PI-DOSnet 的两种格式在全部观测时刻保持修正能量不增，并在不重训的情况下给出更小的长时预测误差。

EDP-PI-DOSnet 把经典能量稳定格式嵌入物理信息算子分裂网络，使学习到的离散算子满足离散能量耗散律。此前的 PI-DOSnet 不保证学习到的线性算子对称负半定，预测中能量可能上升，长时外推还需两三轮重训。在 Allen–Cahn 方程上，EDP-PI-DOSnet 的两种格式在全部观测时刻保持修正能量不增，并在不重训的情况下给出更小的长时预测误差。

该工作用可解析的事实回忆模型研究 Muon 的光谱正交化机制：在 S 个主体、R 个关系且 S>R 时，梯度流先学关系后学主体，学习时间比为 Θ̃(√(S/R))，而光谱梯度流把该比值降到 Θ̃(1)，并使主体与关系误差分别以 1/(T log T) 和 exp(-poly(T)) 衰减；梯度流与光谱梯度流对 token 嵌入的正交变换等变，Sign 梯度流则不等变，不同正交嵌入可导致无特征分离、长分离期甚至学习顺序反转。

该工作用可解析的事实回忆模型研究 Muon 的光谱正交化机制：在 S 个主体、R 个关系且 S>R 时，梯度流先学关系后学主体，学习时间比为 Θ̃(√(S/R))，而光谱梯度流把该比值降到 Θ̃(1)，并使主体与关系误差分别以 1/(T log T) 和 exp(-poly(T)) 衰减；梯度流与光谱梯度流对 token 嵌入的正交变换等变，Sign 梯度流则不等变，不同正交嵌入可导致无特征分离、长分离期甚至学习顺序反转。