Meta放出816B开放权重多模态模型：256个专家每token只激活8个，百万token上下文
核心概要
Meta发布开放权重模型Muse Spark Open，把文本、图像、音频和视频放进同一个约8160亿参数、每token约420亿激活参数的混合专家模型，上下文窗口最高100万token，输出为文本。它面向智能体编程训练，能读代码库、写代码、调试并调用工具，也能在写代码时看截图、听语音、看录屏。相比同系列8月发布的小型稠密模型Muse Glimmer，这次把混合专家架构放大到更大规模，并给出BF16与NVFP4两种检查点及llama.cpp、vLLM、SGLang等部署配方。
深度剖析
开放权重模型现在把文本、图像、音频和视频四种输入收进同一个模型，开发者用一套接口就能对不同类型输入提问。 同系列的Muse Glimmer是8月发布的小型稠密模型，适合本地运行，两者共用同一分词器和词表。 模型规模约8160亿总参数、每token约420亿激活参数，上下文窗口最高100万token，输出为文本。
模型按智能体编程来训练，能读代码库、写代码、调试并调用工具，在长任务中规划、行动、观察和自我纠正。 训练取材于真实开发者工作流，例如多文件重构和长时间调试会话。 它还能在写代码时接收图像、音频和视频输入，因此同一模型可以读截图、听语音备忘或看录屏。
每一层用256个专家、每个token由路由器选8个，专家合计约占全部参数97%，因此全部专家常驻内存但每token只按约420亿参数计算。 Muse Glimmer每层只有一个稠密前馈网络，Muse Spark Open把它换成混合专家块。 语言模型有62层、隐藏维度8192，每层128个查询头和16个键值头；BF16检查点约1.5TB，NVFP4以4位精度存储并面向NVIDIA Blackwell GPU。
感知编码器把图像和视频帧转成token，音频编码器每80毫秒输出一个音频token，即每秒12.5个。 视频输入走与图像相同的编码器，音频则经音频分词器并在对话模板中用音频标记标出位置。 感知编码器有18亿参数、50层、隐藏维度1536和16个注意力头，把图像切成14×14的块并输出4096维特征。
启示与展望
报道覆盖的是模型发布与配套部署、微调说明：约8160亿总参数、每token约420亿激活参数、最高100万token上下文、BF16与NVFP4两种检查点，以及llama.cpp、vLLM、SGLang、MLX和Inference Endpoints的参考配置。文中给出的微调示例在8节点共64张H100上训练500步、约2小时、约每秒8000 token，平均token准确率从72%升到84%、损失从1.26降到0.57，仅针对该示例任务与数据集。
模型被描述为迄今能力最强的美国开放权重模型，这一说法来自发布方自身表述。推理无法关闭，默认档位为xhigh，需要更少token时只能调到low。视频默认按2帧每秒采样、上限96帧，提高帧率会增加显存占用与预填充延迟。NVFP4的精度损失被描述为可忽略，但该检查点面向NVIDIA Blackwell GPU。