游戏PC本地跑290B级MoE：FreeToken把GPU、CPU与主机内存并成一块弹性推理平台
核心概要
FlashML 发布 FreeToken，一个面向个人与消费级硬件的边缘原生 MoE 推理引擎，目标是在用户已有的游戏 PC 上本地运行 290B 以上规模的前沿开放权重 MoE 模型。它把 GPU、CPU、主机内存与互连视为统一的弹性推理平台，用带宽自适应的 CPU–GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来组织计算与数据搬运。引擎还提供语义锚点检查点以跳过智能体上下文编辑带来的重复计算，并支持运行时在专家缓存与 KV 内存之间重新分配显存，覆盖 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等模型与 MXFP4、NVFP4、FP8、BF16 等量化格式。
深度剖析
前沿规模的开放权重 MoE 模型现在被定位为可以在个人和消费级硬件上本地服务，而不必依赖数据中心级设备。 发布信息把 GPU、CPU、主机内存和互连描述为同一套统一、可伸缩的推理平台中的异构边缘资源，而不是彼此独立的部件。 发布信息给出的目标是在游戏 PC 上以交互速度运行 290B 以上参数的前沿 MoE 模型，并列出对 NVIDIA RTX 30、40、50 系列 GPU 的原生支持。
引擎按可用带宽在 CPU 与 GPU 之间分配 MoE 计算，并把权重流式送入显存，以适配消费级硬件的内存与带宽约束。 这套做法由带宽自适应的 CPU–GPU 协同执行策略、全层双缓冲预填充流式传输、全局 LRU 专家缓存、图兼容执行和 FTW 快速权重格式共同组成。 发布信息把这些组件列为引擎的核心运行时特性，并说明其覆盖消费级笔记本、游戏台式机和工作站 GPU。
面向智能体工作负载，引擎用语义锚点检查点保存循环状态与 KV 缓存，使工具调用、思考块等上下文编辑不必重算整段上下文。 显存可以在运行时于专家缓存与 KV 内存之间动态重新分配，无需重启引擎或重新加载权重。 发布信息称该能力面向真实编码与工具调用智能体，并提供 Anthropic/OpenAI 兼容接口以便接入。
启示与展望
已展示的范围是面向个人与消费级硬件的边缘原生 MoE 推理引擎发布，覆盖消费级笔记本、游戏台式机和工作站 GPU，并原生支持 NVIDIA RTX 30、40、50 系列。
发布信息以目标与特性列表的形式描述能力，未给出吞吐、延迟或显存占用的实测数字，因此 290B 以上模型在消费级硬件上的交互速度目前只是设定目标。