# 低秩KV缓存压缩

推理视觉语言模型的KV缓存既要装下多模态输入，又要随推理链不断增长，现有低秩压缩按静态输入校准，生成越长与稠密模型的预测偏差越大。TraceKV把校准激活改为稠密模型自己生成的推理轨迹，并按各KV状态对策略散度的敏感度加权做SVD，再在全局预算下分配秩。在Qwen2.5-VL-7B等四个模型上，70%秩比叠加4位量化时总体准确率73.41%，稠密模型为73.58%，KV缓存缩小5.64倍。

推理视觉语言模型的KV缓存既要装下多模态输入，又要随推理链不断增长，现有低秩压缩按静态输入校准，生成越长与稠密模型的预测偏差越大。TraceKV把校准激活改为稠密模型自己生成的推理轨迹，并按各KV状态对策略散度的敏感度加权做SVD，再在全局预算下分配秩。在Qwen2.5-VL-7B等四个模型上，70%秩比叠加4位量化时总体准确率73.41%，稠密模型为73.58%，KV缓存缩小5.64倍。

该工作提出iS-KV，一种面向长程推理的在线低秩KV缓存压缩方法：它保留最近窗口为精确表示，将较早状态增量折叠为有界秩表示，并在低秩基演化时同步历史坐标以维持表示一致性；在DeepSeek-R1-Distill-Llama-8B上以4.06倍持久KV压缩达到82.6%准确率（原模型83.6%），在Qwen3-8B上以5.64倍压缩达到89.2%准确率，并在匹配内存预算下持续优于token驱逐基线。

该工作提出iS-KV，一种面向长程推理的在线低秩KV缓存压缩方法：它保留最近窗口为精确表示，将较早状态增量折叠为有界秩表示，并在低秩基演化时同步历史坐标以维持表示一致性；在DeepSeek-R1-Distill-Llama-8B上以4.06倍持久KV压缩达到82.6%准确率（原模型83.6%），在Qwen3-8B上以5.64倍压缩达到89.2%准确率，并在匹配内存预算下持续优于token驱逐基线。