# 混合专家模型推理服务

FlashML 发布 FreeToken，一个面向个人与消费级硬件的边缘原生 MoE 推理引擎，目标是在用户已有的游戏 PC 上本地运行 290B 以上规模的前沿开放权重 MoE 模型。它把 GPU、CPU、主机内存与互连视为统一的弹性推理平台，用带宽自适应的 CPU–GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来组织计算与数据搬运。引擎还提供语义锚点检查点以跳过智能体上下文编辑带来的重复计算，并支持运行时在专家缓存与 KV 内存之间重新分配显存，覆盖 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等模型与 MXFP4、NVFP4、FP8、BF16 等量化格式。

FlashML 发布 FreeToken，一个面向个人与消费级硬件的边缘原生 MoE 推理引擎，目标是在用户已有的游戏 PC 上本地运行 290B 以上规模的前沿开放权重 MoE 模型。它把 GPU、CPU、主机内存与互连视为统一的弹性推理平台，用带宽自适应的 CPU–GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来组织计算与数据搬运。引擎还提供语义锚点检查点以跳过智能体上下文编辑带来的重复计算，并支持运行时在专家缓存与 KV 内存之间重新分配显存，覆盖 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等模型与 MXFP4、NVFP4、FP8、BF16 等量化格式。

混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。

混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。