MoE 权重精度要算两笔账：存一个 4.27 bpw 副本，按工作负载读 2.9 bpw 仍接近 4 比特格式
核心概要
混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。
深度剖析
混合专家模型的权重精度被拆成两个可以分别设定的量：常驻显存里的存储宽度，和 batch-one 解码每一步真正读进来的宽度。 此前公开的按专家分配器只约束前一个量，无论预算是按块、按层还是全局，路由频率即使出现也只进目标函数而不进约束。 已发布的 BitsMoE 2 比特检查点存 2.5425 bpw，但 batch-one 解码一步要读 7.5008 bpw，因为每层专家共享的 FP16 基在存储时摊到全部专家、在解码时只摊到被选中的 8 个。
读取侧因此可以按工作负载单独分配，而且不需要标签。 存储侧只做一次决定，读取侧每个工作负载各做一次，两者不再被同一组宽度绑死。 在线阶段只跑一遍该工作负载自己的预填充，记录每通道二阶矩和路由计数，每个专家每个层级一次点积，再用一次二分法把乘子调到读取预算上，CPU 上几秒完成。
路由频率在解码目标里会从每个专家的决策中约掉，所以它不能改变专家的排序。 此前分配器把路由频率当作重要性信号，用它来加权失真项。 拉格朗日松弛按专家分离后，每个求和项里失真和读取率带同一个正因子，乘子扫出的分配族对任何正权重向量都相同，频率只决定取族里哪一个成员来满足预算。
启示与展望
评估覆盖一个混合专家模型 Qwen3-30B-A3B，只量化专家矩阵，注意力、路由器、嵌入和归一化保持 BF16。效率数字由存储布局算出，端到端测量需要一个前缀读取内核，作者把它留作后续工作。读取表按工作负载校准，重新校准很便宜，但请求分布漂移的部署需要安排这件事。
测量中预填充也按读取深度运行而不是从存储层级读，所以报告的质量是两阶段部署的保守估计。效率数字来自存储布局而非融合内核的实测。读取表按工作负载校准，请求分布漂移时需要重新调度校准。