llama.cpp 发布 v1.0.0：主版本号从此标记 API 与 ABI 不兼容，下游可据此锁定接口
llama.cpp 与底层张量库 ggml 同时发布 v1.0.0，把语义化版本规则落到公开 C 接口上：只有 ./include 中的公开 C API 发生破坏性变更才升主版本号，向后兼容的功能、后端更新、模型支持或 API 新增升次版本号，无 API 变更的缺陷修复升补丁号。项目在 3.5 年间积累了大量下游应用，接口稳定性因此成为发布管理的核心，而此前版本号并不承担这一承诺。
PyTorch模型不必转格式就能在浏览器GPU上跑：同一份.pte文件，解码比CPU路径快2–10倍
ExecuTorch新增WebGPU后端，让PyTorch模型经torch.export导出为一份.pte文件后，直接在支持WebGPU的浏览器里用GPU推理，无需先转成GGUF、ONNX或TFLite等其它框架格式。此前在浏览器跑PyTorch模型通常要先做这种格式转换。在Apple M1 Pro的Chrome上，以4比特量化的Llama 3.2 1B和Qwen3-0.6B对比ExecuTorch自身的Wasm CPU后端（XNNPACK），预填充快4–7倍、解码快2–10倍。
消费级单卡跑不动的大模型：把部分层交给CPU算，权重搬运藏进计算里
当模型权重装不进单张消费级GPU时，按需搬运权重会占去解码阶段约98%的时间。一种按层调度的方法把部分层放到CPU上计算，同时异步把下一层的权重传往GPU，用CPU计算时间遮住传输；在RTX 5090台式机上，OPT-30B的推理比HuggingFace Accelerate快3.5倍、比DeepSpeed Zero-Inference快6.3倍。
条件记忆表不再按访问频率分比特：按门控逐次查询，DeepSeek表显存从23.6降到3.04 GiB
大模型把部分事实知识存进按前文词串检索的哈希表，低比特量化会先丢掉长尾事实，而按访问频率给常用行更高精度反而比随机选择更差。GateRQ把每行存成逐级细化的残差码，先用1比特码算出每个查询的门控，再只给门控排名靠前的查询读取更深层。在DeepSeek-V4.1-Flash上，它把每GPU表显存从23.6 GiB降到3.04 GiB，vLLM吞吐在两种负载下比FP8表常驻显存分别高约11%和约31%，PopQA在1.50比特/查询时比FP8低约1个点。
草稿模型不再通用：Fireworks按客户数据定制投机解码，专用场景延迟最多降3倍
Fireworks为FireOptimizer推出自适应投机执行，用客户自己的推理负载数据训练草稿模型，替代在通用对话数据上训练的草稿模型。投机解码让较小的草稿模型并行预测若干token，再由主模型批量校验，命中率决定收益；通用草稿模型在专门场景命中率低，反而拖慢推理。在一个专门用例上，通用草稿模型命中率29%、延迟增加1.5倍，改用FireOptimizer后命中率76%、速度提升2倍，相对通用草稿模型最多3倍加速。
不用GPU也能预演大模型服务：BLIS在CPU上跑完整流水线，4卡就守住300毫秒首字延迟
BLIS是一个纯CPU的确定性离散事件模拟器，把准入、路由、调度、预填充/解码执行、KV缓存管理和抢占整条大模型推理服务流水线一起模拟，在36组实验上端到端延迟中位误差6.7%，比真实执行快约200倍。
推理引擎把控制面与执行面拆开：C++状态机管KV缓存，Python层留给研究者改
TokenSpeed 发布了一个面向智能体负载的开源 LLM 推理引擎，它把控制面与执行面分开：控制面用 C++ 写成有限状态机，靠类型系统在编译期约束请求生命周期与 KV 缓存状态，执行面留在 Python 以便快速迭代。此前推理引擎通常把调度与执行耦合在一起，资源安全多在运行时检查。该引擎宣称达到 TensorRT-LLM 级性能与 vLLM 级易用性，并给出在 NVIDIA GB300 上服务 Qwen3.8-Flash-Next 时每用户 685 tokens/s 的数值。
推理引擎把控制面与执行面拆开：C++状态机管KV缓存，Python层留给研究者
TokenSpeed 是一个面向智能体负载的开源大模型推理引擎，由非营利的 LightSeek 基金会支持，目标是在生产级智能体负载上达到 TensorRT-LLM 级别的性能，同时保留 vLLM 级别的易用性。它把调度控制面与执行面分开：控制面用 C++ 写成有限状态机，把请求生命周期与 KV 缓存状态的安全复用交给类型系统在编译期约束；执行面用 Python，便于研究者与工程师快速迭代。内核被当作独立模块，通过可移植的公共 API、集中注册表和插件机制与核心引擎解耦，官方称其中包含面向智能体负载、在 Blackwell 上最快的 MLA 实现之一。
并行草稿不再各猜各的：候选重排把投机解码吞吐再抬一截，并发32路仍快过未校正草稿
并行扩散草稿器一次前向就给出整块候选，但块内各位置互不知情；一种只读草稿器已有隐状态与logits的轻量校正器在相邻候选间并行打分、再从左到右贪心重选，在四个验证模型和十个基准上取得最高平均吞吐，并发32路时仍快于未校正草稿。
Azure Maia 300把每瓦有效token当目标：机架翻倍到96颗，系统算力提升36%
微软发布第三代自研推理加速器 Azure Maia 300，把软件、芯片、机架、网络与数据中心放在一起设计，目标是让每瓦和每美元产出更多可用 token。相比上一代，它把片上统一内存改为跨芯粒的局部性感知非统一内存，让软件把数据放在使用它的计算单元附近，并新增窄精度格式与硬件数据类型转换以减少每个 token 搬运的字节。系统层面，机架加速器数量翻倍到 96 颗，纵向扩展域扩大到 12288 颗的超级集群，多芯粒策略使系统计算浮点算力提升 36%，HBM 带宽增加 2.5 倍。