条件记忆表不再按访问频率分比特：按门控逐次查询，DeepSeek表显存从23.6降到3.04 GiB
核心概要
大模型把部分事实知识存进按前文词串检索的哈希表，低比特量化会先丢掉长尾事实，而按访问频率给常用行更高精度反而比随机选择更差。GateRQ把每行存成逐级细化的残差码，先用1比特码算出每个查询的门控，再只给门控排名靠前的查询读取更深层。在DeepSeek-V4.1-Flash上，它把每GPU表显存从23.6 GiB降到3.04 GiB，vLLM吞吐在两种负载下比FP8表常驻显存分别高约11%和约31%，PopQA在1.50比特/查询时比FP8低约1个点。
深度剖析
条件记忆表的量化精度分配从按行统计改为按每次查询决定，决定依据是模型自己的门控。 此前的通行做法来自推荐系统嵌入表：给访问频繁的行更大维度或更高精度，前提是每次访问对输出的贡献相同。 在PopQA上，把额外精度给访问最频繁的那部分查询，其消除的误差低于把同样精度随机分配，说明频率规则把比特花在了最不重要处。
每行被存成一条可逐级加深的残差码阶梯，第一级留在GPU显存里用于算门控，更深层只在需要时从主机内存读取。 这套方案叫GateRQ，即门控驱动的残差量化，它不改动模型的门控机制，也不需要重新训练。 在DeepSeek-V4.1-Flash与Qwen3.8-Flash-Next两个模型、TCQ、INT、PQ三种编码器和两种读取预算下，GateRQ在全部成对PopQA比较中优于按期望门控、随机和按频率三种选择规则，且这些差异均显著。
启示与展望
演示范围是两个带条件记忆层的模型DeepSeek-V4.1-Flash与Qwen3.8-Flash-Next、三种编码器和每查询1.50与2.10比特两种读取预算，精度在PopQA、TriviaQA、CMMLU、NQ-open四个基准的完整测试集上评测。原生vLLM实现只覆盖DeepSeek，吞吐数据来自单次运行的具体负载。
在1.50比特/查询时，GateRQ的PopQA比FP8低约1个点；在2.10比特时，TCQ阶梯下低0.2到0.3个点，INT阶梯下低约0.7个点，不同编码器的差距并不一致。读取1.50与2.10比特相对完整两级或三级阶梯没有统计显著的PopQA差异，但这不构成等价性证明。吞吐提升主要来自更大的KV缓存而非更少读取比特，且为特定负载下的单次测量，原生四任务精度仍待与精度实验交叉核对。