MoE 权重精度要算两笔账：存一个 4.27 bpw 副本，按工作负载读 2.9 bpw 仍接近 4 比特格式
混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。
混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。
已读完全部报道