arXiv来源发表: 2026年11月6日

低比特推理不再二选一：StrataFlux 从内存层级补精度，2比特权重困惑度从9.46降到8.40

研究机构：Cornell University Carnegie Mellon University

OmniScholar报道

核心概要

康奈尔与卡内基梅隆团队提出 StrataFlux，把低比特权重和 KV 缓存留在 GPU 上，只按当前计算需要从主机内存或固态盘取回少量精化比特，从而在保留量化内存与速度优势的同时补回精度。在 RTX 5090 上，2 比特 Llama-3.1-8B-Instruct 权重的 WikiText-2 困惑度从 9.46 降到 8.40，并保持量化基座 95.4% 的吞吐；2 比特权重加 2 比特 KV 时，Qwen3-8B 的 AIME 2024/2025 准确率从 11.0% 升到 47.1%，GPU 显存占用不变。

Source-provided article image: StrataFlux: Memory-Hierarchy-Native Low-Bit LLM Inference — Figure 1 · arXiv · 第 1 页

深度剖析

低比特量化与高精度数据卸载之间的取舍被拆开了：权重和 KV 缓存仍以低比特常驻 GPU，额外精度放在更慢但更大的主机内存或固态盘里，只在需要时取回。量化能省内存和带宽却可能损失精度，卸载能保住精度却可能让生成停顿，此前这两条路线被当作互斥的选择。在 RTX 5090 上，2 比特 Llama-3.1-8B-Instruct 权重的 WikiText-2 困惑度由 9.46 降到 8.40，同时保持量化基座 95.4% 的吞吐。

取回的不是整段高精度数据，而是能细化常驻低比特码的附加比特，因此传输量远小于直接搬运高精度副本。权重按输入激活幅度挑选通道，KV 按常驻低比特键算出的注意力权重挑选 token 组，只对少数重要位置取回精化比特。在 128K 上下文下，3 比特权重配 2 比特 KV 的 Llama-3.1-8B-Instruct 在 RTX 5090 上取得与 vLLM 的 4 比特 AWQ 权重加 8 比特 KV 相当的困惑度和速度，GPU 显存约为后者一半。

启示与展望

评估覆盖 2–4 比特权重与 2–3 比特 KV 缓存，平台包括 RTX 5090、RTX 5070 Ti、RTX PRO 6000 等专用 GPU 以及 DGX Spark、MacBook Air M3 等统一内存平台，精度以 WikiText-2、PG-19、RULER、MATH500 和 AIME 2024/2025 衡量。

StrataFlux 是暂定系统名，后续修订可能更改；在统一内存平台上，主结果采用跳过缓存未命中的策略并令位移为零，因为此时没有固态盘等待可供提前取与延后加隐藏；权重精化中通道式与神经元式两种 MLP 方案在不同模型、量化器、平台和速度预算下没有一致的优劣。

arXiv