llama.cpp 发布 v1.0.0：主版本号从此标记 API 与 ABI 不兼容，下游可据此锁定接口
llama.cpp 与底层张量库 ggml 同时发布 v1.0.0，把语义化版本规则落到公开 C 接口上：只有 ./include 中的公开 C API 发生破坏性变更才升主版本号，向后兼容的功能、后端更新、模型支持或 API 新增升次版本号，无 API 变更的缺陷修复升补丁号。项目在 3.5 年间积累了大量下游应用，接口稳定性因此成为发布管理的核心，而此前版本号并不承担这一承诺。
llama.cpp 发布 v1.0.0：主版本号从此标记 API 与 ABI 不兼容，下游可据此锁定接口
llama.cpp 发布库 v1.0.0，把主版本号与 API、ABI 不兼容绑定，让依赖其库接口的下游应用有可预期的升级边界。项目自启动以来已积累大量下游应用，此前接口稳定性没有以版本号形式对外承诺。新规则适用于所有采用语义化版本的 ggml-org 项目，llama.cpp 与 ggml 今后都以主版本号反映不兼容变更。
Hugging Face把决策做成接口：模型不再逐字生成，直接给出选项概率
Hugging Face 为“决策模型”定下统一接口：输入一段状态和若干带类型的问题，模型直接返回选项概率、有序评分或真/假概率，而不逐字生成文本。此前这类结构化判断要么靠大模型输出 JSON，要么靠固定标签分类器或零样本分类。Transformers 新增 DecisionPipeline 等类，llama.cpp 提供同一 /v1/systemone 端点，兼容的自回归模型也能在不生成文本的情况下按选项打分。
Hugging Face把决策做成模型输出：不再逐字生成，直接给出选项概率
Hugging Face为“决策模型”定下统一接口：输入状态与若干带类型的问题，模型直接返回选项概率、有序评分或二值概率，而不生成任何文本。此前这类结构化判断要么靠大模型输出JSON、再受约束解码兜底，要么用固定标签分类器或零样本分类。Transformers、llama.cpp与Hub标签已按同一契约接入，兼容的自回归语言模型也能在不重新训练的情况下走这套接口。
Mac上的PyTorch 2.15：MoE解码快5–6.5倍，视频VAE显存从270 GiB降到8 GiB
PyTorch 2.15把FP8张量、原生分组矩阵乘法和一批专用Metal内核带进Mac的MPS后端，让本地大模型解码和视频生成更省时省内存。此前MPS上不少算子走MPSGraph，MoE解码要先把分组偏移拷回CPU再逐组循环，分块视频VAE解码的驱动内存峰值可达270 GiB。在M3 Ultra上，Qwen3.6-35B-A3B的解码从9.4升到61.3 tokens/s，Wan2.2的VAE解码内存峰值降到约8 GiB。
Trainium不再要按编译器思路写代码：PyTorch原生后端让89%热门文本生成架构直接跑
AWS Trainium 上的 Hugging Face 模型运行方式换了底座：新的 PyTorch 原生后端 TorchNeuron 把 Neuron 芯片暴露为普通设备，支持即时执行、torch.compile 与原生分布式接口，不再依赖基于 PyTorch XLA 的 optimum-neuron。按 Hugging Face 给出的对照，最常用的 100 个文本生成模型架构中开箱支持比例从 Optimum Neuron v0.4.5 的 46% 升到 89%。该后端自 2026 年 10 月 20 日起进入公开测试。
501B开源模型可自持部署：每token只算23B参数，1M上下文缓存压到约六分之一
美国新实验室Reflection发布首个开源模型Beam，以Apache 2.0许可开放501B参数的稀疏混合专家权重，每个token只激活约23B参数，支持100万token上下文与编码、智能体任务。模型采用混合注意力，43层只看前512个token、9层看全上下文，使KV缓存按每token约36 KiB增长，约为全部层全局注意力的六分之一。发布同时提供BF16、FP8与NVFP4三种检查点，以及transformers、SGLang、vLLM的当日支持和配套Rust推理框架。
transformers 现可直接运行 llama.cpp 的量化 GGUF 模型
这篇 Hugging Face 文章介绍 transformers 现在可用 from_pretrained 的 gguf_file 参数直接加载 GGUF 量化检查点：在 Apple Silicon 上经 kernels 库复用 ggml 的 Metal 内核（打包量化权重矩阵乘、融合归一化、flash attention、gated delta net，以及自研 topk 用于 MoE 路由），并在 generate 中提前去掉多余 attention mask、异步推迟停止判断；作者在 MacBook Pro M2 Max 上对小型稠密、较大稠密与 MoE 三个检查点测得生成速度接近 llama.cpp，同时给出 Q4_K_M、Q5_K_M、Q6_K 的文件大小权衡，
已读完全部报道