# 张量奇异值分解

大模型预训练优化器从逐层处理矩阵转向把同一模块的多层动量堆成三阶张量。此前按层正交化的Muon忽略层间相关，而基于矩阵展开的张量优化器只能处理两层堆叠且局限于QKV。TUON沿层方向做酉变换、对每个变换后切片单独极化再逆变换，在GPT-124M/350M与Qwen-0.6B/4B上验证损失均低于Muon和TEON，每步耗时与二者相当。

大模型预训练优化器从逐层处理矩阵转向把同一模块的多层动量堆成三阶张量。此前按层正交化的Muon忽略层间相关，而基于矩阵展开的张量优化器只能处理两层堆叠且局限于QKV。TUON沿层方向做酉变换、对每个变换后切片单独极化再逆变换，在GPT-124M/350M与Qwen-0.6B/4B上验证损失均低于Muon和TEON，每步耗时与二者相当。