colibri 让数千亿参数 MoE 模型在普通电脑上跑起来：专家留在磁盘，8 GB 内存即可起步
核心概要
JustVugg 发布开源推理引擎 colibri，用纯 C 写成、每个模型家族一个文件，不需要 GPU。混合专家模型每个 token 只调用自身一小部分，colibri 把这一小部分常驻内存，其余专家留在磁盘上按需读取。官方示例中 GLM-5.2 这一 744B 参数、int4 量化的 MoE 模型在 CPU 上 32 秒就绪、常驻 9.9 GB；最低配置为 8 GB 内存，最小模型需 22 GB 磁盘。
深度剖析
colibri 让数千亿参数级的开源混合专家模型在普通个人电脑上运行，不需要显卡，内存最低 8 GB，最小模型占 22 GB 磁盘。 混合专家模型每个 token 只用到自身一小部分参数，colibri 据此只把这一小部分常驻内存，其余专家留在磁盘上，模型需要时再读取。 官方示例显示 GLM-5.2 这一 744B 参数、int4 量化的 MoE 模型在 CPU 上 32 秒就绪，常驻内存 9.9 GB。
引擎用纯 C 实现，每个模型家族对应一个文件，目前有十三个引擎在运行。 其中十个面向语言模型，覆盖 GLM-5.2/5.3、GLM-5.3-Flash、Inkling、Kimi K3、DeepSeek V4 Flash、DeepSeek V4.1 Flash、MiMo-V2.6 Flash 与 Pro、Qwen3.8-Flash-Next、Qwen3.6 和 OLMoE。 另有一个图像引擎 Qwen-Image-2.1，以及 Laya、GLiNER2.5-Decide 两个决策引擎，第三个决策模型 Clef 跑在 Qwen3.6 引擎上。
语言模型可以直接读取已发布的 GGUF 文件，在 CPU 上运行，也可通过 Vulkan 使用任意 GPU、通过 CUDA 使用 NVIDIA 显卡。 安装脚本会检查内存、磁盘、CPU 和 GPU，推荐能放下的模型，并在有编译器时就地为机器构建引擎，否则下载预编译版本。 模型下载支持断点续传，启动后在本机开放 OpenAI 与 Anthropic 兼容的接口地址，供其他应用调用。
启示与展望
已展示的范围是：在满足最低 8 GB 内存、最小模型 22 GB 磁盘空间的机器上，用纯 C 引擎在 CPU 或可选 GPU 上运行所列模型家族，并开放本地兼容接口。
官方示例只给出 GLM-5.2 在 CPU 上 32 秒就绪、常驻 9.9 GB 这一组数字，未说明生成速度；集成显卡只在 Qwen3.6、Qwen3-Coder 和 Qwen3.8-Flash-Next 上被判定更快，其他模型在集成显卡上的表现未给出。