低比特推理不再二选一：StrataFlux 从内存层级补精度，2比特权重困惑度从9.46降到8.40
康奈尔与卡内基梅隆团队提出 StrataFlux，把低比特权重和 KV 缓存留在 GPU 上，只按当前计算需要从主机内存或固态盘取回少量精化比特，从而在保留量化内存与速度优势的同时补回精度。在 RTX 5090 上，2 比特 Llama-3.1-8B-Instruct 权重的 WikiText-2 困惑度从 9.46 降到 8.40，并保持量化基座 95.4% 的吞吐；2 比特权重加 2 比特 KV 时，Qwen3-8B 的 AIME 2024/2025 准确率从 11.0% 升到 47.1%，GPU 显存占用不变。