Jiale Chen

该工作把原本用于权重-激活量化的 WUSH 变换迁移到分组查询注意力的 KV 缓存上，用校准数据为每个 KV 头分别构造键变换与值变换（值变换折进权重、键变换置于 RoPE 之后），在 QuEST 量化器下证明该变换在灵敏度均衡的变换类中近最优，并在 SGLang 中以 OSCAR 式百分位裁剪仿射量化做端到端评测：2-bit 下 Qwen3-8B 的 WikiText-2 困惑度为 10.51（OSCAR 13.74），8B 的 AIME 2025、MATH-500、GPQA Diamond、LiveCodeBench v6 四项均高于 OSCAR。

该工作把原本用于权重-激活量化的 WUSH 变换迁移到分组查询注意力的 KV 缓存上，用校准数据为每个 KV 头分别构造键变换与值变换（值变换折进权重、键变换置于 RoPE 之后），在 QuEST 量化器下证明该变换在灵敏度均衡的变换类中近最优，并在 SGLang 中以 OSCAR 式百分位裁剪仿射量化做端到端评测：2-bit 下 Qwen3-8B 的 WikiText-2 困惑度为 10.51（OSCAR 13.74），8B 的 AIME 2025、MATH-500、GPQA Diamond、LiveCodeBench v6 四项均高于 OSCAR。