跳到主要内容
检索

# Muse Spark Open

9 篇关联报道

订阅更新
  1. LMSYS Org

    Muse Spark Open 解码跨过每秒千词:把每层压成一个常驻内核,517 升到 1,109 tok/s

    Muse Spark Open 的解码速度从基线 517 tok/s 提升到 1,109 tok/s,做法是把每一层的注意力和 MoE 合成一个常驻 GPU 的内核,让权重加载、张量核心计算和跨卡通信在同一时刻重叠进行。此前 SGLang 每个解码步要依次启动约 1,450 个内核,内核之间 GPU 会排空再填充,部分 SM 和线程处于空闲。该结果在 Blackwell GPU 上以批大小为 1、配合 DFlash V2 推测解码测得,尚未扩展到更大批量。

  2. PyTorch

    Meta 的 816B 稀疏模型搬上单台四芯片 TPU:整步合成一个内核,单请求每 token 快 1.94 倍

    Meta 的开源混合专家模型 Muse Spark Open 总参数 816B、每 token 约激活 42B,此前在 TPU v7 上服务时,一次验证步的耗时是单纯从 HBM 流式读取权重所需时间的 2.9 倍。SGLang-TorchTPU 把一次解码或验证步的全部 62 层写成一个 Pallas 程序,让权重、KV 与跨设备传输都排在计算之前发出。单请求下每输出 token 从 3.78 ms 降到 1.95 ms,两个并发请求时为 1.85 倍,并发继续增大时收益收窄。

  3. LMSYS Org

    816B开源多模态模型发布当天就能跑:SGLang与Miles把推理和强化学习后端一起接上

    Meta 发布开源权重多模态混合专家模型 Muse Spark Open,SGLang 与 Miles 在发布当天为其接上推理与强化学习训练后端。该模型文本主干 816B 参数、每 token 约 42B 激活,支持文本、图像、视频、音频输入和 1M token 上下文。在 8 块 B300 上以 NVFP4 权重跑 OpenHands 多轮智能体编码回放,并发 128 时每 GPU 总吞吐 80.3K token/s、每用户 61 token/s。

  4. Modal Blog

    Meta开放Muse Spark Open权重:100万token上下文,终端任务评测76.4分

    Meta公开了面向智能体编程与长程任务的Muse Spark Open模型权重,并已在Modal的共享端点上按token计费提供。该模型原生支持多模态理解,上下文窗口为100万token,可完成写代码、调试、多步规划、顺序调用工具以及长流程中的失败恢复。在Meta的评测中,它使用Terminus 2智能体在Terminal-Bench 2.1上得76.4分,使用Meta偏好的评测框架在DeepSWE 1.1上得60分,推理强度设为xhigh。

  5. NVIDIA Technical Blog

    Meta开源816B编码模型Muse Spark Open:1M上下文装下整个项目,稀疏路由每次只激活42B

    Meta发布面向智能体编码工作流的开源混合专家模型Muse Spark Open,总参数816B、每token激活42B,上下文窗口达1M token,可容纳包含复杂依赖与遗留代码的整个项目。此前的通用编码模型面向生成单个函数或单元测试这类上下文小、答案即时的单次补全任务,而多文件重构、跨数千文件导航、失败测试恢复与子智能体协调需要持续多步执行。该模型在NVIDIA GB300 NVL72上训练,支持工具调用、输出评估与迭代修正,并以目标条件保持方向、以上下文压缩维持长会话进展。

  6. Baseten

    Meta开源816B编码智能体模型:压缩MoE省显存,长上下文KV缓存降到约3.7分之一

    Meta开源了Muse Spark Open的权重,这是一个816B参数、推理时激活42.7B的全模态混合专家模型,与Muse Code共同训练,面向编码智能体工作流。它用压缩MoE块和全局/局部混合注意力降低跨GPU通信与长会话的KV缓存占用,并支持100万token上下文和文本、图像、视频、音频输入。按Meta报告的基准分数,它在智能体编码与知识工作上与前沿实验室的模型相当,但各模型使用自家编码智能体测试,而非统一测试框架。

  7. Vercel News

    Meta开源推理模型上架AI Gateway:100万token上下文,代码与截图可同一次请求处理

    Meta 的开放权重推理模型 Muse Spark Open 现已上线 AI Gateway,面向编码与智能体工作流,支持多文件重构、调试和大型代码库理解。该模型接受文本与图像输入,上下文窗口为 100 万 token,使智能体能在同一次请求中同时处理代码和截图。用户以 meta/muse-spark-open 这一模型名在 AI SDK、OpenAI 兼容的 Chat Completions 与 Responses API、Anthropic 兼容的 Messages API 以及接入 AI Gateway 的编码智能体中使用,无需另建供应商账户。

  8. vLLM Blog

    vLLM首日跑通816B稀疏大模型:1M上下文只留四分之一KV缓存,TPU上单请求超960 token/秒

    vLLM在Muse Spark Open发布当天就提供了推理支持,这是一款总参数816B、每token激活42B的混合专家模型,支持1M上下文与原生图像、视频、音频输入。此前这类规模的模型往往要等社区适配数周;这次Nvidia与AMD镜像同步放出,并配套训练了DSpark投机解码草稿模型。TPU上配合投机解码,4颗v7芯片超过650 token/秒,8颗超过960 token/秒。

  9. Hugging Face Blog

    Meta放出816B开放权重多模态模型:256个专家每token只激活8个,百万token上下文

    Meta发布开放权重模型Muse Spark Open,把文本、图像、音频和视频放进同一个约8160亿参数、每token约420亿激活参数的混合专家模型,上下文窗口最高100万token,输出为文本。它面向智能体编程训练,能读代码库、写代码、调试并调用工具,也能在写代码时看截图、听语音、看录屏。相比同系列8月发布的小型稠密模型Muse Glimmer,这次把混合专家架构放大到更大规模,并给出BF16与NVFP4两种检查点及llama.cpp、vLLM、SGLang等部署配方。

已读完全部报道