# 循环状态在线SVD分解

混合语言模型把历史压进固定大小的循环状态，但现有服务系统仍把状态当稠密矩阵，每一步解码都整块读写，显存与带宽开销随批大小增长。SinkState 利用线性注意力中查询、键、值集中于稳定低维子空间这一现象，在解码全程把每个状态保存为自适应低秩分解，用局部 SVD 合并新 token，并在 CPU 上异步整理冻结部分。在四个 Mamba-2 与 GDN 混合模型（4B 到 120B）上，循环状态峰值内存降到基线的 0.38–0.63，解码最多加速 1.58 倍，准确率保持不变。

混合语言模型把历史压进固定大小的循环状态，但现有服务系统仍把状态当稠密矩阵，每一步解码都整块读写，显存与带宽开销随批大小增长。SinkState 利用线性注意力中查询、键、值集中于稳定低维子空间这一现象，在解码全程把每个状态保存为自适应低秩分解，用局部 SVD 合并新 token，并在 CPU 上异步整理冻结部分。在四个 Mamba-2 与 GDN 混合模型（4B 到 120B）上，循环状态峰值内存降到基线的 0.38–0.63，解码最多加速 1.58 倍，准确率保持不变。