Devanshu Jha

长上下文推理时KV缓存随序列长度线性增长，常超出GPU显存。VerKV把完整缓存留在CPU内存，GPU上只保留按重要性分数做泊松抽样得到的少量token，每个解码步先用证书估计注意力误差，超出容差才从CPU取回额外条目。在Qwen3-4B、Qwen3.5-9B和Ministral-3-8B三个模型、RULER与LOFT两个基准的32K和128K上下文上，GPU常驻缓存为3.13%时三者分别保留94.6%、84.6%和79.6%的全量质量，而Fast KVzip和KVzip在同样3.13%下只剩1.9%至11.9%。

长上下文推理时KV缓存随序列长度线性增长，常超出GPU显存。VerKV把完整缓存留在CPU内存，GPU上只保留按重要性分数做泊松抽样得到的少量token，每个解码步先用证书估计注意力误差，超出容差才从CPU取回额外条目。在Qwen3-4B、Qwen3.5-9B和Ministral-3-8B三个模型、RULER与LOFT两个基准的32K和128K上下文上，GPU常驻缓存为3.13%时三者分别保留94.6%、84.6%和79.6%的全量质量，而Fast KVzip和KVzip在同样3.13%下只剩1.9%至11.9%。