# Apple Silicon 本地推理

这篇 Hugging Face 文章介绍 transformers 现在可用 from_pretrained 的 gguf_file 参数直接加载 GGUF 量化检查点：在 Apple Silicon 上经 kernels 库复用 ggml 的 Metal 内核（打包量化权重矩阵乘、融合归一化、flash attention、gated delta net，以及自研 topk 用于 MoE 路由），并在 generate 中提前去掉多余 attention mask、异步推迟停止判断；作者在 MacBook Pro M2 Max 上对小型稠密、较大稠密与 MoE 三个检查点测得生成速度接近 llama.cpp，同时给出 Q4_K_M、Q5_K_M、Q6_K 的文件大小权衡，

这篇 Hugging Face 文章介绍 transformers 现在可用 from_pretrained 的 gguf_file 参数直接加载 GGUF 量化检查点：在 Apple Silicon 上经 kernels 库复用 ggml 的 Metal 内核（打包量化权重矩阵乘、融合归一化、flash attention、gated delta net，以及自研 topk 用于 MoE 路由），并在 generate 中提前去掉多余 attention mask、异步推迟停止判断；作者在 MacBook Pro M2 Max 上对小型稠密、较大稠密与 MoE 三个检查点测得生成速度接近 llama.cpp，同时给出 Q4_K_M、Q5_K_M、Q6_K 的文件大小权衡，