ResidualQuant 用末轮 KV 作锚、2 比特残差压缩循环 Transformer 缓存，INT2/4 下 KV 存储降 80.7% 且精度接近 BF16
针对循环 Transformer 中 KV 缓存随循环数增长的内存瓶颈，作者提出 ResidualQuant：以末轮 KV 状态为锚，把其余循环表示为低精度残差，并配合最小二乘缩放、对残差施加旋转以及逐循环 INT4/INT2 混合精度；在 Ouro-1.4B 与 Huginn-3.5B 的数学推理与代码生成基准上，该方法在相同内存预算下优于基于旋转的 KV 量化，混合精度下 KV 存储较 BF16 减少 80.7% 而精度接近 BF16。