边缘设备上的大模型权重格式给每个整数码分配相同位宽，而权重码本身分布并不均匀。LazyWeights 保留 llama.cpp 的 GGUF 格式，只调整 GPTQ 让码更集中，再用可按 32 条并行通道解码的 Huffman 码无损压缩，并在 DRAM 与 L2 之间的小单元里按需解码，GPU 内核不变。在 1% 与 3.5% 困惑度预算下，编码后的 Phi-3-mini、Mistral-7B 和 SmolLM-1.7B 比最好的 llama.cpp 格式小 5.7–31.4%；在 Jetson Orin Nano Super 上，配合该解码单元，每 token 延迟与能耗最多降低 36% 和 38%。
JustVugg 发布开源推理引擎 colibri，用纯 C 写成、每个模型家族一个文件，不需要 GPU。混合专家模型每个 token 只调用自身一小部分，colibri 把这一小部分常驻内存，其余专家留在磁盘上按需读取。官方示例中 GLM-5.2 这一 744B 参数、int4 量化的 MoE 模型在 CPU 上 32 秒就绪、常驻 9.9 GB；最低配置为 8 GB 内存，最小模型需 22 GB 磁盘。
这篇 Hugging Face 文章介绍 transformers 现在可用 from_pretrained 的 gguf_file 参数直接加载 GGUF 量化检查点：在 Apple Silicon 上经 kernels 库复用 ggml 的 Metal 内核（打包量化权重矩阵乘、融合归一化、flash attention、gated delta net，以及自研 topk 用于 MoE 路由），并在 generate 中提前去掉多余 attention mask、异步推迟停止判断；作者在 MacBook Pro M2 Max 上对小型稠密、较大稠密与 MoE 三个检查点测得生成速度接近 llama.cpp，同时给出 Q4_K_M、Q5_K_M、Q6_K 的文件大小权衡，
已读完全部报道