# 张量并行

Muse Spark Open 的解码速度从基线 517 tok/s 提升到 1,109 tok/s，做法是把每一层的注意力和 MoE 合成一个常驻 GPU 的内核，让权重加载、张量核心计算和跨卡通信在同一时刻重叠进行。此前 SGLang 每个解码步要依次启动约 1,450 个内核，内核之间 GPU 会排空再填充，部分 SM 和线程处于空闲。该结果在 Blackwell GPU 上以批大小为 1、配合 DFlash V2 推测解码测得，尚未扩展到更大批量。

Muse Spark Open 的解码速度从基线 517 tok/s 提升到 1,109 tok/s，做法是把每一层的注意力和 MoE 合成一个常驻 GPU 的内核，让权重加载、张量核心计算和跨卡通信在同一时刻重叠进行。此前 SGLang 每个解码步要依次启动约 1,450 个内核，内核之间 GPU 会排空再填充，部分 SM 和线程处于空闲。该结果在 Blackwell GPU 上以批大小为 1、配合 DFlash V2 推测解码测得，尚未扩展到更大批量。

AWS Trainium 上的 Hugging Face 模型运行方式换了底座：新的 PyTorch 原生后端 TorchNeuron 把 Neuron 芯片暴露为普通设备，支持即时执行、torch.compile 与原生分布式接口，不再依赖基于 PyTorch XLA 的 optimum-neuron。按 Hugging Face 给出的对照，最常用的 100 个文本生成模型架构中开箱支持比例从 Optimum Neuron v0.4.5 的 46% 升到 89%。该后端自 2026 年 10 月 20 日起进入公开测试。

AWS Trainium 上的 Hugging Face 模型运行方式换了底座：新的 PyTorch 原生后端 TorchNeuron 把 Neuron 芯片暴露为普通设备，支持即时执行、torch.compile 与原生分布式接口，不再依赖基于 PyTorch XLA 的 optimum-neuron。按 Hugging Face 给出的对照，最常用的 100 个文本生成模型架构中开箱支持比例从 Optimum Neuron v0.4.5 的 46% 升到 89%。该后端自 2026 年 10 月 20 日起进入公开测试。

在公开的AgentX智能体负载上，八卡AMD Instinct MI355X系统用vLLM服务Kimi K3，在每用户每秒50 token的P90交互性下，单卡总吞吐约7,567 token/s，比NVIDIA HGX B300的6,083高出24.4%；按SemiAnalysis建模的每小时1.50美元与2.26美元GPU成本，每美元TCO产出1,816万对969万token，多87.4%。这一结果来自AMD与vLLM社区在注意力、循环状态、MoE和缓存上的持续工程优化，而非单点改动。

在公开的AgentX智能体负载上，八卡AMD Instinct MI355X系统用vLLM服务Kimi K3，在每用户每秒50 token的P90交互性下，单卡总吞吐约7,567 token/s，比NVIDIA HGX B300的6,083高出24.4%；按SemiAnalysis建模的每小时1.50美元与2.26美元GPU成本，每美元TCO产出1,816万对969万token，多87.4%。这一结果来自AMD与vLLM社区在注意力、循环状态、MoE和缓存上的持续工程优化，而非单点改动。