Muse Spark Open发布当天即可在vLLM上部署，Nvidia与AMD各自有预构建镜像，模型同时提供BF16与NVFP4两种权重，AMD另放出MXFP4权重。 按vLLM的说明，模型要等代码合并后才会进入nightly PyPI wheel，这一审查合并通常约需一周，因此镜像与wheel的可用时间并不一致。 支持范围覆盖Nvidia与AMD两家硬件：Nvidia侧有张量并行、流水线并行以及EP、TEP、DEP与PD分离，AMD侧支持张量并行与流水线并行，TPU侧基于TorchTPU提供初步支持。
模型把长上下文的显存开销压下来，靠的是让多数层只看最近一段token。 全注意力在1M token下需要为每一层保存全部键值，而这里62层中有46层是滑动窗口注意力，只保留最近2048个token的KV，另外16层才看完整上下文。 按4层一循环、循环锚定在堆栈末端以保证最后一层始终是全注意力，1M token时缓存降到全注意力所需的大约四分之一，这也是1M上下文可行的原因。
推理加速由专门训练的投机解码草稿模型承担，它在CUDA与ROCm上都可用。 投机解码通常在大批量下收益递减，而DSpark用基于置信度的调度来维持加速。 DSpark用块扩散一次提出最多七个草稿token，并复用滑动窗口注意力让起草保持轻量，在SPEED bench上做了测试。
vLLM同时把Muse Spark Open当作强化学习的rollout引擎，训练侧用Verl FSDP2。 服务端跑原始NVFP4检查点并叠加LoRA适配器，训练端则在同权重的BF16反量化版本上运行，只更新适配器。 适配器秩32、alpha 64，覆盖注意力、MoE隐投影与全部路由专家，并重放rollout的MoE路由；在16块GB300上以GRPO训练DAPO-Math-17K共150步，AIME-2024的mean@8从0.56升到0.85，训练端与vLLM对数概率之间的k3 KL全程保持在2×10⁻⁴附近。
这则报道面向需要部署或后训练大规模稀疏模型的研究人员与工程师，覆盖Nvidia、AMD与TPU三类硬件上的推理支持，以及以vLLM为rollout引擎的LoRA强化学习流程。TPU路径需要联系vLLM或Google获取代码，模型进入nightly PyPI wheel还需等待代码审查合并。
TPU吞吐数字对应的是megakernel配合DSpark、接受长度为6的设置，未启用投机解码时4颗与8颗芯片分别为270与350 token/秒以上。强化学习结果来自DAPO-Math-17K上150步的GRPO训练，采样设置为每步32个提示各8条回复、每条最多4K token。视频音轨不经过音频编码器，需要把视频与抽出的音频作为同一请求中的两个独立内容部分发送。
