# 压缩KV缓存

作者在三个模型（1.5B–8B）和三种任务场景（needle retrieval、长思维链、多轮回忆）中测量注意力头的读取行为，发现多数头在生成过程中至少改变一次读取行为，于是提出 WakeKV：一种反应式驻留策略，把降温的头移到可恢复的 CPU reservoir，而不是冻结或永久驱逐其状态；在匹配内存或预算下，WakeKV 相对冻结分类与破坏性驱逐一致改善 miss rate，并在 Mistral-7B 的 FlexiCache/vLLM 实现上提升吞吐同时保持 LongBench 质量。

作者在三个模型（1.5B–8B）和三种任务场景（needle retrieval、长思维链、多轮回忆）中测量注意力头的读取行为，发现多数头在生成过程中至少改变一次读取行为，于是提出 WakeKV：一种反应式驻留策略，把降温的头移到可恢复的 CPU reservoir，而不是冻结或永久驱逐其状态；在匹配内存或预算下，WakeKV 相对冻结分类与破坏性驱逐一致改善 miss rate，并在 Mistral-7B 的 FlexiCache/vLLM 实现上提升吞吐同时保持 LongBench 质量。

作者提出 SoloQ：用 K-RPBH 旋转把权重与激活映射到可预测的近似高斯分布，配合仅尺度偏差校正实现免校准 4 比特量化，并对块扩散模型在块提交时量化 KV 缓存；在 LLaDA-Base、LLaDA-1.5、Dream-7B、Fast-dLLM v2 与 Nemotron-Labs-Diffusion 上，SoloQ-C 与 SoloQ-N 在 W4A4 及 W4A4KV4 下保持精度，平均分超过 DLLMQuant++、STaR-Quant、FAIR-Calib 等需校准基线，NVFP4 路径还降低峰值内存并加速端到端推理。

作者提出 SoloQ：用 K-RPBH 旋转把权重与激活映射到可预测的近似高斯分布，配合仅尺度偏差校正实现免校准 4 比特量化，并对块扩散模型在块提交时量化 KV 缓存；在 LLaDA-Base、LLaDA-1.5、Dream-7B、Fast-dLLM v2 与 Nemotron-Labs-Diffusion 上，SoloQ-C 与 SoloQ-N 在 W4A4 及 W4A4KV4 下保持精度，平均分超过 DLLMQuant++、STaR-Quant、FAIR-Calib 等需校准基线，NVFP4 路径还降低峰值内存并加速端到端推理。