# DuoRate双速率精度分配方法

混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。

混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。