Thinking Machines 的 Inkling 2 Small 在发布当天获得 vLLM 支持。这是一个文本与图像输入、文本输出的混合专家模型，总参数 594B、激活 17B，上下文最长 1M token，并自带 DSpark 推测解码草稿器。vLLM 通过内核融合、程序化依赖启动、序列并行和针对 6:1 GQA 比例重写的 Gluon 注意力内核完成适配，在 GB200 上 TP4 单用户解码约 630 tok/s、接受长度 3.5，并支持 LoRA 与经由 SkyRL 的强化学习。
Meta 推出 Triton 低层扩展 TLX，在保留 Triton 编程模型的前提下，让工程师显式编排 warp 组、异步数据搬运与集群执行。现代 GPU 的 warp 特化、张量内存和集群执行能力此前要么藏在编译器抽象之后，要么需要大量架构专用 CUDA 代码。TLX 已在 Meta 的推荐系统训练、推荐系统推理和大规模 LLM 预训练中投入生产，其中 GEM 训练在数千块 NVIDIA Blackwell GPU 上达到 20-25% 端到端 MFU。
Meta 发布开源权重多模态混合专家模型 Muse Spark Open，SGLang 与 Miles 在发布当天为其接上推理与强化学习训练后端。该模型文本主干 816B 参数、每 token 约 42B 激活，支持文本、图像、视频、音频输入和 1M token 上下文。在 8 块 B300 上以 NVFP4 权重跑 OpenHands 多轮智能体编码回放，并发 128 时每 GPU 总吞吐 80.3K token/s、每用户 61 token/s。
Gradium TTS 把文本转语音的首段音频延迟压到比人类说话反应更快，在 Coval 基准（截至 2026 年 9 月）上中位 TTFA 为 214 毫秒，四分位距足够窄，开发者可以据此为流水线其余部分设定可靠的延迟预算。它采用 Kyutai 的延迟流建模，把文本和音频当作共享时钟上的两条并行流，音频流落后文本若干解码步，因此在上游大模型还没写完整句时就能开口。在 Baseten 上以专用部署提供，权重经 Baseten 交付网络预镜像与三级缓存，冷启动快 2–3 倍。
Cleave 是一个基于符号化解耦的 ML 编译器：它在符号形状图上做超优化发现代数等价变换，再在具体形状上对每个结果图做调度，通过迭代分块与水平融合来融合含多个归约的图；在常见 LLM 子图上生成的内核比最佳基线快至多 2.8 倍（平均 1.6 倍），编译时间比 Mirage 平均减少 5.9 倍。
该工作提出SMAT（Simple MAT），从单个专家视角把常见模型合并方法归纳为Scale（重加权自身更新）、Mask（删除选定坐标）与Perturb（加入其他专家的更新）三种操作，在训练中采样缩放系数、掩码与加性噪声来模拟合并后的参数并联合优化专家损失与模拟合并损失，配合周期调度、算子融合与参数存储切换实现每步一次前向一次反向；在Llama-3.2-1B-Instruct、Llama-3.1-8B-Instruct、CLIP ViT-B/32与ViT-L/14四个骨干上，SMAT相对各骨干最强基线把五种合并方法的平均分提高1.07–2.16分，训练时间开销相对标准微调低于2%。
已读完全部报道