大模型查表记忆压到两比特：DeepSeek表从203GB降到51GB，预填提速近五倍
核心概要
条件记忆让语言模型靠查表扩充容量，但整张嵌入表必须常驻，DeepSeek的表就有203 GB。Conditional Program把每行压成短码加局部尺度，用全表共享的高斯网格重建，只解码当前输入请求的行；两比特下存储缩小约四到八倍，多数任务分数接近原值，输出KL比两比特最近舍入低41–63%。
深度剖析
查表式条件记忆可以只存重建指令，不再逐行保存完整嵌入向量，整表存储因此缩小约四到八倍。 此前这类表要么整张留在加速器内存，要么搬到主机内存，成本只是换了支付位置，并未减少。 在DeepSeek、Qwen、LongCat三个带哈希n-gram查表的模型上，两比特码把DeepSeek的表从202.7 GB压到50.7 GB，多数已报告任务分数接近原值。
每行只保留一段短码和一个局部尺度，重建规则由全表共享，输入请求哪几行就只解码哪几行。 常规权重量化面向稠密计算，而查表是稀疏、随输入变化的访问，压缩后仍需保持单行可独立取用。 归一化后的行内容按共享高斯网格编码，局部尺度恢复原始行范数，每行存为可独立寻址的记录；在4096个token的DeepSeek预填中，从主机内存查表耗时6.54 ms，对照的QTIP瓦片窗口解码器为10.78 ms。
启示与展望
结论覆盖三个带哈希查表的模型在训练后的压缩，压缩只作用于查表，其余模型组件保持不变。评估使用40项任务，分常识、知识、阅读理解、多语言、数学与代码五组，另在六个文本域上测逐token输出KL。服务测量在单节点、eager推理下完成，四卡与八卡H200两种配置分别报告显存占用与可运行的最大工作负载。作者指出，按token索引的表需要另行处理敏感行，这一方向在附录中作为边界测试给出。
作者说明，小任务分数差异不足以证明等价，部分等预算对照使用插值网格值且没有不确定度估计。拟合码本与结构化残差的KL比较只在Qwen上进行。服务测量为单节点、eager推理，部分配置只有一次测量，测试到的工作负载上限不是精确容量阈值。访问计数来自英文网页文本，按频率分配比特与缓存结果可能随部署分布变化。高斯源近似并不说明训练如何产生观察到的行统计。