# 解耦量化

该工作提出“分离式量化”（DQ），把 LLM 推理的预填充与解码两个阶段分别配置计算格式、权重与存储位置，并配套提出 QADD 训练方法；在 Qwen 3 与 Gemma 3 上，仅在解码阶段取消激活量化即可在不增加推理成本的前提下提升解码密集型任务准确率，训练独立的 NVFP4 预填充权重可在 2–3-bit 解码下同时加快预填充并提升准确率，在 Qwen3.8-27B 的 1-bit GGUF 解码器上把 MMLU-Pro 与 MMMU-Pro 准确率提升到原来的两倍以上，并通过从 SSD 流式加载预填充权重的 ODP 在 8K 上下文下取得相对 weight-only 基线的首 token 时延加速。

该工作提出“分离式量化”（DQ），把 LLM 推理的预填充与解码两个阶段分别配置计算格式、权重与存储位置，并配套提出 QADD 训练方法；在 Qwen 3 与 Gemma 3 上，仅在解码阶段取消激活量化即可在不增加推理成本的前提下提升解码密集型任务准确率，训练独立的 NVFP4 预填充权重可在 2–3-bit 解码下同时加快预填充并提升准确率，在 Qwen3.8-27B 的 1-bit GGUF 解码器上把 MMLU-Pro 与 MMMU-Pro 准确率提升到原来的两倍以上，并通过从 SSD 流式加载预填充权重的 ODP 在 8K 上下文下取得相对 weight-only 基线的首 token 时延加速。