# 循环高斯–赛德尔迭代

该工作提出 WhiteMatter，用可学习路由器把任意深度的历史 token 表示混合成共享的 KV 通道，使每层可读取跨层信息，并配合循环 Gauss–Seidel 迭代加速训练与预填充；在相同训练 token 预算下，半缓存 WhiteMatter 在最多约 1.3B 参数的两个规模上困惑度与下游平均分优于匹配的标准 Transformer，全缓存版本与层数更多的标准 Transformer 表现相当。

该工作提出 WhiteMatter，用可学习路由器把任意深度的历史 token 表示混合成共享的 KV 通道，使每层可读取跨层信息，并配合循环 Gauss–Seidel 迭代加速训练与预填充；在相同训练 token 预算下，半缓存 WhiteMatter 在最多约 1.3B 参数的两个规模上困惑度与下游平均分优于匹配的标准 Transformer，全缓存版本与层数更多的标准 Transformer 表现相当。