PyTorch 2.15把FP8张量、原生分组矩阵乘法和一批专用Metal内核带进Mac的MPS后端，让本地大模型解码和视频生成更省时省内存。此前MPS上不少算子走MPSGraph，MoE解码要先把分组偏移拷回CPU再逐组循环，分块视频VAE解码的驱动内存峰值可达270 GiB。在M3 Ultra上，Qwen3.6-35B-A3B的解码从9.4升到61.3 tokens/s，Wan2.2的VAE解码内存峰值降到约8 GiB。
这篇 Hugging Face 文章介绍 transformers 现在可用 from_pretrained 的 gguf_file 参数直接加载 GGUF 量化检查点：在 Apple Silicon 上经 kernels 库复用 ggml 的 Metal 内核（打包量化权重矩阵乘、融合归一化、flash attention、gated delta net，以及自研 topk 用于 MoE 路由），并在 generate 中提前去掉多余 attention mask、异步推迟停止判断；作者在 MacBook Pro M2 Max 上对小型稠密、较大稠密与 MoE 三个检查点测得生成速度接近 llama.cpp，同时给出 Q4_K_M、Q5_K_M、Q6_K 的文件大小权衡，
已读完全部报道