推理视觉语言模型的KV缓存压到约六分之一：TraceKV用在线策略校准保住推理准确率
核心概要
推理视觉语言模型的KV缓存既要装下多模态输入，又要随推理链不断增长，现有低秩压缩按静态输入校准，生成越长与稠密模型的预测偏差越大。TraceKV把校准激活改为稠密模型自己生成的推理轨迹，并按各KV状态对策略散度的敏感度加权做SVD，再在全局预算下分配秩。在Qwen2.5-VL-7B等四个模型上，70%秩比叠加4位量化时总体准确率73.41%，稠密模型为73.58%，KV缓存缩小5.64倍。
深度剖析
低秩KV压缩在推理视觉语言模型上可以做到接近无损：70%秩比下总体准确率73.33%，稠密模型为73.58%。 此前的低秩方法按静态多模态输入校准，在短答任务上有效，但生成推理状态时与稠密模型的下一词策略KL散度随生成长度迅速增大，并出现逻辑错误和无限循环。 在ScienceQA、MathVista、MMMU三个基准上，50%秩比时TraceKV总体准确率70.28%，比最好的基线Palu高7.09个百分点。
压缩不再以重建KV状态为目标，而是以保持稠密模型的预测策略为目标。 常规做法最小化校准激活上的KV重建误差，对所有KV状态一视同仁。 校准集为ScienceQA训练集256个样本，每个模型用贪心解码生成自己的推理轨迹，最多512个token；在Qwen2.5-VL-7B-Instruct上，加入真实解答轨迹把推理状态重建误差从10.27降到9.67，改用在线策略轨迹进一步降到8.88。
敏感度加权SVD与全局秩分配把有限的秩预算集中到对策略影响大的KV状态和奇异分量上。 重建目标对所有KV状态等权，而等幅扰动对不同状态的影响差别很大，多数视觉状态不敏感，部分文本和推理状态很敏感。 组件消融中，仅用真实解答轨迹校准平均准确率从58.41%升到60.61%，在线策略校准升到62.09%，敏感度加权SVD升到63.68%，加上全局秩分配达到66.57%，比基线高8.16个百分点。
启示与展望
演示范围是四个推理视觉语言模型（Qwen2.5-VL-7B-Instruct、InternVL3-8B、Qwen3-VL-8B/32B-Thinking）在ScienceQA、MathVista、MMMU三个视觉推理基准上的评测，校准取自ScienceQA训练集256个样本，解码延迟在Qwen2.5-VL-7B-Instruct、批大小16、4K至32K上下文下测量。
压缩目标最小化的是稠密模型推理轨迹上的策略KL，而压缩模型推理时会遇到自己的自回归状态，这种分布错配可能在长推理轨迹上累积误差；校准仍依赖有限的任务特定样本及其模型生成轨迹，能否推广到更广领域或推理之外的长文本生成尚未确定。