AirLLM 把大模型推理的显存占用压到单卡几 GB 量级：Kimi K3（2.8T）在单张 RTX 6000 Ada 上实测端到端占用 3.72GB 显存，Qwen3.8-Flash-Next（125B）在单张 RTX 4090 上为 5.95GB，DeepSeek-V3（671B）约 12GB。它不依赖量化、蒸馏或剪枝，而是把权重按层流式加载，MoE 模型只加载每个 token 实际路由到的专家。项目还扩展到训练：冻结权重逐层流入，适配器留在 GPU 上，125B 模型可在 6GB 显存下训练。
Sarvam发布基于Sarvam 105B的决策模型Prism，面向企业工作流中需要快速、可校准判断的环节。在Sarvam自行测试的25个决策模型中，Prism在三个指数上的平均分为71.8，单次请求中位响应时间44毫秒，是100毫秒以内作答的模型中平均分最高的一个；总分更高的模型响应时间约为它的两到六倍。模型以开放权重发布，企业可在自有数据上继续训练并在自有基础设施上运行。
PyTorch 2.15把FP8张量、原生分组矩阵乘法和一批专用Metal内核带进Mac的MPS后端，让本地大模型解码和视频生成更省时省内存。此前MPS上不少算子走MPSGraph，MoE解码要先把分组偏移拷回CPU再逐组循环，分块视频VAE解码的驱动内存峰值可达270 GiB。在M3 Ultra上，Qwen3.6-35B-A3B的解码从9.4升到61.3 tokens/s，Wan2.2的VAE解码内存峰值降到约8 GiB。
已读完全部报道