Meta开源816B编码智能体模型：压缩MoE省显存，长上下文KV缓存降到约3.7分之一
核心概要
Meta开源了Muse Spark Open的权重，这是一个816B参数、推理时激活42.7B的全模态混合专家模型，与Muse Code共同训练，面向编码智能体工作流。它用压缩MoE块和全局/局部混合注意力降低跨GPU通信与长会话的KV缓存占用，并支持100万token上下文和文本、图像、视频、音频输入。按Meta报告的基准分数，它在智能体编码与知识工作上与前沿实验室的模型相当，但各模型使用自家编码智能体测试，而非统一测试框架。
深度剖析
编码智能体可以不再只靠文字工作，截图、录屏和语音都能直接作为输入进入修复与测试流程。 此前的编码智能体主要面向文本输入，图像、视频或音频需要先转成文字才能使用。 Meta给出的三类用法是：对照设计稿或缺陷报告截图直接改布局代码、观看缺陷录屏后写出复现脚本或端到端测试、以及边说话边打字进行结对编程，音频直接输入而不先转写。
模型把输入向量先压缩再交给专家，从而在保持路由读取完整向量的同时缩小每个专家的参数。 未压缩的混合专家设计会让专家参数和跨GPU通信量随总参数量一起膨胀。 共享池化器压缩输入向量后送入专家，共享反池化器把专家输出投影回原维度；按Meta的说法，每个专家参数减半，总模型规模比未压缩设计少约800B参数，并降低MoE层的跨GPU通信。
长上下文的内存开销由局部与全局注意力分工承担，局部层只保留最近窗口，旧信息留在全局层。 常规模型每一层都各自保存完整的KV缓存，上下文越长占用越大。 62层中有46层是2048token滑动窗口的局部注意力并带旋转位置编码，16层是无位置编码的全局注意力；在128K token上下文下，KV缓存内存比只用全局注意力的模型减少约3.7倍。
服务端用4比特权重换取更多并发会话，使完整模型能放进单个节点。 权重内存占用决定了每个节点能容纳多少智能体会话。 NVFP4检查点把专家权重存为4比特，只在注意力权重和首尾层专家保留bf16，权重规模从约1.6TB降到540GB，完整模型可放在单个4×GB300节点上，无需多节点互联。
启示与展望
这则报道面向需要部署编码智能体的研究人员和工程师，覆盖开放权重发布、架构设计、显存与吞吐数字以及服务方式。按Meta的说法，Muse Spark Open在常规智能体循环中应接近旗舰闭源模型，在跨多步的大型多文件修改上预计比Claude Opus 5或GPT-5.6 Terra需要更多引导或重试，同时相对Grok 4.5和Gemini 3.6 Flash表现稳健；在撰写工作总结时，它优于图表中除Opus 5以外的所有模型。
基准分数由Meta报告，且每个当前模型都用自己的实验室编码智能体测试，Muse Spark用Muse Code、Claude Opus 5用Claude Code、GPT-5.6 Terra用Codex，而不是共享测试框架，因此分数反映的是各模型在其原生工具中的表现。KV缓存约3.7倍的减少是在128K token上下文下相对只用全局注意力层模型的比较，权重从约1.6TB降到540GB对应NVFP4检查点。