康奈尔与卡内基梅隆团队提出 StrataFlux，把低比特权重和 KV 缓存留在 GPU 上，只按当前计算需要从主机内存或固态盘取回少量精化比特，从而在保留量化内存与速度优势的同时补回精度。在 RTX 5090 上，2 比特 Llama-3.1-8B-Instruct 权重的 WikiText-2 困惑度从 9.46 降到 8.40，并保持量化基座 95.4% 的吞吐；2 比特权重加 2 比特 KV 时，Qwen3-8B 的 AIME 2024/2025 准确率从 11.0% 升到 47.1%，GPU 显存占用不变。
低比特KV缓存能减少显存读取，但现有内核仍要逐个把整数还原成浮点并乘缩放、加偏移，指令发射成为新瓶颈。FOSCAR把每个量化组共享的缩放与偏移折叠到矩阵乘的另一操作数或部分积上，并用位操作直接从打包整数构造张量核操作数。在H100与B200上，其INT2内核相对FlashInfer BF16取得几何平均加速，并已作为内核库开源。
SGLang 为分页 KV 缓存加入 NVFP4 存储，把每个 token 的键值数据从 FP8 再压到约 56% 的字节量。在 Qwen3.8-27B 上，32K、160K、1M 三种输入长度下保持相同解码并发，峰值批解码吞吐提升约 26% 到 30%；智能体负载并发超过 12 后，FP8 吞吐骤降而 NVFP4 继续上升。精度上两个模型的差距随任务不同，最大为 SWE-bench Verified 上的 1.60 个百分点。
英伟达发布开源多模态模型 Nemotron 3.5 Super VL，并在 Baseten 上线推理与训练支持，让智能体能直接读文档、看应用界面和分析视频。它沿用 Nemotron 3 Super 的架构，是总参数 120B、每个 token 激活 12B 的混合专家模型，新增视觉编码器以接收图像输入。英伟达报告的评测中，它在 GDPval 上的 Elo 评分为 1190，高于 Nemotron 3 Super 的 493，并在 SciCode 与 GPQA-diamond 上同样更高。
异步RLVR训练在维持高并发时把上下文处理压缩进更少的解码步，使KV缓存而非权重成为主要开销。KV4-RL用免校准INT4存储全部上下文，只对注意力汇点和最近上下文做有界INT8保护，在Qwen3-4B-Base与Qwen3-8B-Base的全参数GRPO训练中，六项基准平均准确率与BF16 rollout相差不超过0.5个百分点，同时显著加快rollout与整轮迭代。
针对循环 Transformer 中 KV 缓存随循环数增长的内存瓶颈，作者提出 ResidualQuant：以末轮 KV 状态为锚，把其余循环表示为低精度残差，并配合最小二乘缩放、对残差施加旋转以及逐循环 INT4/INT2 混合精度；在 Ouro-1.4B 与 Huginn-3.5B 的数学推理与代码生成基准上，该方法在相同内存预算下优于基于旋转的 KV 量化，混合精度下 KV 存储较 BF16 减少 80.7% 而精度接近 BF16。
该工作把原本用于权重-激活量化的 WUSH 变换迁移到分组查询注意力的 KV 缓存上，用校准数据为每个 KV 头分别构造键变换与值变换（值变换折进权重、键变换置于 RoPE 之后），在 QuEST 量化器下证明该变换在灵敏度均衡的变换类中近最优，并在 SGLang 中以 OSCAR 式百分位裁剪仿射量化做端到端评测：2-bit 下 Qwen3-8B 的 WikiText-2 困惑度为 10.51（OSCAR 13.74），8B 的 AIME 2025、MATH-500、GPQA Diamond、LiveCodeBench v6 四项均高于 OSCAR。
已读完全部报道