八台DGX Spark串成一台桌面集群：统一内存到1TB，753B的GLM 5.3也能本地跑起来
核心概要
NVIDIA在GTC Berlin宣布为DGX Spark提供八节点集群的官方支持，把统一内存从单节点的128 GB扩展到1 TB，使此前在四节点系统上无法启动的前沿级模型得以在本地加载。八节点集群上，完整的GLM 5.3（753B）检查点可以运行，GLM 5.3 Flash的生成速度约为每秒80个token；在稠密Qwen3.8-27B（NVFP4）上，解码吞吐从单节点的约12 TPS升到八节点的52 TPS。
深度剖析
桌面级AI开发设备现在可以八台互联，组成一个统一内存达1 TB的本地集群，用来加载和交互式服务前沿级大模型。 单台DGX Spark提供128 GB统一内存，四节点为512 GB；八节点把容量推到1 TB，从而容纳此前在四节点系统上无法启动的模型。 完整的GLM 5.3（753B）检查点运行在8块128 GB的集群上；GLM 5.3 Flash在八节点集群上的生成速度实测约为每秒80个token。
集群规模扩大时，解码吞吐提升明显，而预填充吞吐增长较缓，两种拓扑各有适用场景。 在稠密Qwen3.8-27B（NVFP4）、不使用推测解码与MTP的设定下，单节点解码约11.86 TPS，八节点交换机拓扑下为52.58 TPS。 同一组基准中，八节点物理环拓扑解码为40.11 TPS，交换机（RoCEnante）拓扑为52.58 TPS，对应4.43倍解码扩展；预填充从单节点2,635 TPS升到八节点交换机拓扑的5,105 TPS。
面向Spark优化的集合通信后端缩短了张量并行解码中的通信延迟，并已并入FlashInfer。 该后端用一次全对全交换加本地归约替代环形all-reduce的多轮转发，减少通信步数，代价是每个rank向所有对端发送完整输入。 四节点（NVFP4）上预填充吞吐约高5%、解码吞吐约高21%；八节点非量化模型上解码吞吐约高18%；启动自检失败时会透明回退到NCCL。
在共享集群上按请求难度分流到不同规模模型，可以在保持质量的同时提高整体吞吐。 原型用OpenBMB的MiniCPM5 2B处理简单任务、Qwen3.8 Flash Next处理复杂任务，由轻量分类器逐请求或逐会话路由，负载均衡器在副本间分发流量。 在含难题的92例工具使用基准上，路由后的智能体得分91/100，与仅用Qwen的配置持平；八节点上分配三个Qwen副本与两个MiniCPM副本时，一半请求走Qwen约得1.5倍聚合吞吐，四分之一走Qwen约得3.0倍。
启示与展望
演示范围限于DGX Spark节点组成的集群：推理基准使用稠密Qwen3.8-27B（NVFP4）与GLM 5.3系列，预训练实验是从零训练的约896.5M参数nanochat模型。Spark优化的集合通信后端只适用于交换机连接、节点间可点对点直连的拓扑，NCCL仍是受支持的默认选择。
材料明确说明该通信后端在消息或节点数增大时额外流量代价上升，高并发、更大集群或环形拓扑下NCCL表现更好；八节点集群支持在NVIDIA Sync中要到年底才提供。预训练的近线性扩展是在每个节点持有完整模型副本、每步只做梯度同步的条件下测得。