推理视觉语言模型的KV缓存压到约六分之一：TraceKV用在线策略校准保住推理准确率
推理视觉语言模型的KV缓存既要装下多模态输入，又要随推理链不断增长，现有低秩压缩按静态输入校准，生成越长与稠密模型的预测偏差越大。TraceKV把校准激活改为稠密模型自己生成的推理轨迹，并按各KV状态对策略散度的敏感度加权做SVD，再在全局预算下分配秩。在Qwen2.5-VL-7B等四个模型上，70%秩比叠加4位量化时总体准确率73.41%，稠密模型为73.58%，KV缓存缩小5.64倍。
低比特智能体不再丢任务：SteerDistill用教师闭环纠错，W4A16平均分距BF16不到1分
低比特量化能压低大模型智能体的推理成本，却常让智能体漏看任务要求或环境条件，在工具调用中走错步骤。SteerDistill 让全精度教师定位学生第一次行为偏离，给出结构化纠错提示，学生执行后由环境反馈验证，教师据此反复修正提示，直到修正被局部验证。随后学生不带提示地学习这些修正，在五个智能体基准、三个模型上，W4A16 平均分比最强量化基线高 1.67–2.18 分，距 BF16 不到 1 分。
条件记忆表不再按访问频率分比特：按门控逐次查询，DeepSeek表显存从23.6降到3.04 GiB
大模型把部分事实知识存进按前文词串检索的哈希表，低比特量化会先丢掉长尾事实，而按访问频率给常用行更高精度反而比随机选择更差。GateRQ把每行存成逐级细化的残差码，先用1比特码算出每个查询的门控，再只给门控排名靠前的查询读取更深层。在DeepSeek-V4.1-Flash上，它把每GPU表显存从23.6 GiB降到3.04 GiB，vLLM吞吐在两种负载下比FP8表常驻显存分别高约11%和约31%，PopQA在1.50比特/查询时比FP8低约1个点。
多模态量化不再让文本压过视觉：共享变换把两路梯度拧成一个方向，W4A6下32B模型平均66.51
多模态大模型做低比特量化时，文本与视觉令牌要在同一个通道变换上学习，两路梯度方向相反或量级悬殊，会互相拖累。MCTQ把重建目标按模态拆开，再用最小范数凸组合把两路梯度合成一个更新方向，全程只保留一个共享变换、不增加推理开销。在Qwen2.5-VL-7B的W4A6设置下平均准确率66.26，比OmniQuant高1.30分；Qwen2.5-VL-32B同设置下为66.51。
张量并行通信压到4比特：Echo把舍入误差送回下一次调用，1GB消息比NCCL快2.09倍
Echo把张量并行的all-reduce改成4比特传输、高精度求和，并把每次舍入误差反馈到后续调用，使累积误差不随层数增长；在A100上1GB消息比16比特NCCL快2.09倍，Qwen3-8B七项基准平均只差0.4分。
OSFP4 联合优化对角平滑与分块缩放，在 Llama-3.1-8B-Instruct 上取得 77.03 的 W4A4 平均准确率并保留约 94-97% 的 NVFP4 预填充吞吐
该工作提出 OSFP4：通过分析乘性抖动 FP4 量化器，得到可微的矩阵乘积量化误差近似，据此对每个线性投影联合优化对角平滑矩阵与权重分块缩放，并针对 RTN 或 GPTQ 式 SIC 舍入分别构造损失；在 Llama-3.1-8B-Instruct 上，W4A4 配置取得所评估方法中最高的平均准确率，同时保留约 94-97% 的厂商 NVFP4 预填充吞吐。
ResidualQuant 用末轮 KV 作锚、2 比特残差压缩循环 Transformer 缓存，INT2/4 下 KV 存储降 80.7% 且精度接近 BF16
针对循环 Transformer 中 KV 缓存随循环数增长的内存瓶颈，作者提出 ResidualQuant：以末轮 KV 状态为锚，把其余循环表示为低精度残差，并配合最小二乘缩放、对残差施加旋转以及逐循环 INT4/INT2 混合精度；在 Ouro-1.4B 与 Huginn-3.5B 的数学推理与代码生成基准上，该方法在相同内存预算下优于基于旋转的 KV 量化，混合精度下 KV 存储较 BF16 减少 80.7% 而精度接近 BF16。
WUSH-KV 用数据自适应变换把 2-bit KV 缓存困惑度从 OSCAR 的 13.74 降到 10.51，并在 8B 四项下游任务上全面领先
该工作把原本用于权重-激活量化的 WUSH 变换迁移到分组查询注意力的 KV 缓存上，用校准数据为每个 KV 头分别构造键变换与值变换（值变换折进权重、键变换置于 RoPE 之后），在 QuEST 量化器下证明该变换在灵敏度均衡的变换类中近最优，并在 SGLang 中以 OSCAR 式百分位裁剪仿射量化做端到端评测：2-bit 下 Qwen3-8B 的 WikiText-2 困惑度为 10.51（OSCAR 13.74），8B 的 AIME 2025、MATH-500、GPQA Diamond、LiveCodeBench v6 四项均高于 OSCAR。
PrismQuant 把激活主能量旋进分组量化的零空间，在 Llama-3.1-70B 上以 W4A4KV4 达到 3.85 困惑度、仅比全精度低 0.22 个百分点
该工作提出 PrismQuant：把旋转设计与分组非对称 INT4 量化器自身的“组内常数子空间”对齐，将旋转设计写成 Ky Fan 迹最大化并给出闭式最优解，用紧凑 Householder（compact-WY）实现、无需梯度训练，在 Llama、Qwen、Mistral 上（含 70B 稠密模型与 30B 混合专家模型）做 W4A4KV4 实验，Llama-3.2-3B 上在困惑度与准确率上优于所比较方法，Llama-3.1-70B 上取得 3.85 困惑度与 72.46% 平均零样本准确率（比全精度低 0.22 个百分点），并在 Llama-3.1-8B 部署研究中相对匹配 FP16 基线取得预填充与 CUDA Graph 解码加速、解码峰值内存
G²PTQ 在量化每个 Transformer 块前刷新梯度与 Hessian，2-bit 下把 KL 散度较 GPTAQ 减半并提升 6.45% 问答准确率
该工作提出 G²PTQ，一个在全局监督的块级目标下同时利用一阶与二阶信息的训练后量化框架：它在量化每个 Transformer 块之前重新计算梯度与 Hessian 估计以避免陈旧，并用信赖域缩放约束精确一阶补偿步长，在 0.6B 至 125B 的 13 个稠密模型与 2 个 MoE 模型、2/3/4-bit 权重及 4-bit 权重-激活设置下取得比 GPTQ、GuidedQuant、GPTAQ 等基线更低的 KL 散度与更高的下游问答准确率。