Hugging Face把决策做成接口：模型不再逐字生成，直接给出选项概率
Hugging Face 为“决策模型”定下统一接口：输入一段状态和若干带类型的问题，模型直接返回选项概率、有序评分或真/假概率，而不逐字生成文本。此前这类结构化判断要么靠大模型输出 JSON，要么靠固定标签分类器或零样本分类。Transformers 新增 DecisionPipeline 等类，llama.cpp 提供同一 /v1/systemone 端点，兼容的自回归模型也能在不生成文本的情况下按选项打分。
Hugging Face把决策做成模型输出：不再逐字生成，直接给出选项概率
Hugging Face为“决策模型”定下统一接口：输入状态与若干带类型的问题，模型直接返回选项概率、有序评分或二值概率，而不生成任何文本。此前这类结构化判断要么靠大模型输出JSON、再受约束解码兜底，要么用固定标签分类器或零样本分类。Transformers、llama.cpp与Hub标签已按同一契约接入，兼容的自回归语言模型也能在不重新训练的情况下走这套接口。
Trainium不再要按编译器思路写代码：PyTorch原生后端让89%热门文本生成架构直接跑
AWS Trainium 上的 Hugging Face 模型运行方式换了底座：新的 PyTorch 原生后端 TorchNeuron 把 Neuron 芯片暴露为普通设备，支持即时执行、torch.compile 与原生分布式接口，不再依赖基于 PyTorch XLA 的 optimum-neuron。按 Hugging Face 给出的对照，最常用的 100 个文本生成模型架构中开箱支持比例从 Optimum Neuron v0.4.5 的 46% 升到 89%。该后端自 2026 年 10 月 20 日起进入公开测试。
transformers 现可直接运行 llama.cpp 的量化 GGUF 模型
这篇 Hugging Face 文章介绍 transformers 现在可用 from_pretrained 的 gguf_file 参数直接加载 GGUF 量化检查点：在 Apple Silicon 上经 kernels 库复用 ggml 的 Metal 内核（打包量化权重矩阵乘、融合归一化、flash attention、gated delta net，以及自研 topk 用于 MoE 路由），并在 generate 中提前去掉多余 attention mask、异步推迟停止判断；作者在 MacBook Pro M2 Max 上对小型稠密、较大稠密与 MoE 三个检查点测得生成速度接近 llama.cpp，同时给出 Q4_K_M、Q5_K_M、Q6_K 的文件大小权衡，
已读完全部报道