游戏PC本地跑290B级MoE：FreeToken把GPU、CPU与主机内存并成一块弹性推理平台
FlashML 发布 FreeToken，一个面向个人与消费级硬件的边缘原生 MoE 推理引擎，目标是在用户已有的游戏 PC 上本地运行 290B 以上规模的前沿开放权重 MoE 模型。它把 GPU、CPU、主机内存与互连视为统一的弹性推理平台，用带宽自适应的 CPU–GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来组织计算与数据搬运。引擎还提供语义锚点检查点以跳过智能体上下文编辑带来的重复计算，并支持运行时在专家缓存与 KV 内存之间重新分配显存，覆盖 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等模型与 MXFP4、NVFP4、FP8、BF16 等量化格式。