强化学习权重重灌不再整张广播：NCCL M2N Reshard 开源，重灌延迟最高降到原来的约五分之一
核心概要
强化学习后训练中，训练与推理分置在不同 GPU 上，每步都要把最新权重从训练侧搬到推理侧，这一步叫重灌。传统做法先把完整参数聚合再广播，推理 GPU 即使只要一小片也会收到整张参数，通信量约为模型权重的两倍。NVIDIA 把重灌改写为分布式张量在两种切分布局之间的重切分，并开源参考实现 NCCL M2N Reshard；在 NeMo RL 的基准中，重灌延迟相对传统聚合广播降低 2.7 倍到 5.7 倍。
深度剖析
权重重灌从“先拼出完整参数再广播”改为按源、目的切片的交集直接搬运，推理 GPU 只接收自己需要的那部分权重。 此前的重灌实现普遍采用聚合再广播：训练 GPU 先 all-gather 出完整参数，再广播给推理 GPU，每张推理 GPU 只保留本地布局需要的那一片。 以 BF16 权重计，Kimi K3 的 2.8 万亿参数约合 5.6 TB，Qwen 3.8 2.4T A95B 的 2.4 万亿参数约合 4.8 TB；把 all-gather 与广播两段都算上，单次重灌的逻辑通信量约为模型权重的两倍，即约 11.2 TB 和 9.6 TB。
重灌被表述为一次分布式张量重切分：给定源布局和目的布局，通信库自行推导哪些源 GPU 的哪块区域该发给哪个目的 GPU。 训练与推理两侧的数据、上下文、张量、专家和流水并行配置不同，切片边界不对齐，一个目的切片可能由多个源切片拼成，副本还会让同一份权重出现在多个源或目的 GPU 上。 NCCL M2N Reshard 先求出源切片与目的切片的精确交集，再把这些传输映射到物理 GPU 网络拓扑；同一 NVLink 域内的副本按均衡方式分摊入站数据，再在域内交换补齐，网络传输与 NVLink 复制流水重叠。
NeMo RL 中的参考实现采用混合路径：占参数约 95% 的前馈投影权重走重切分，其余小权重仍走传统聚合广播。 逐层处理所有参数类型和各家引擎的切分方式会带来大量边界情况，难以维护。 在 NVIDIA DGX H100（NVL8）与 DGX GB200（NVL72）上，Qwen 3 235B 从 TP4 x PP8 x EP16 到 TP8 x DP16 的重灌由 6.4 秒降到 1.9 秒，DeepSeek v3 671B 在 H100 上由 14.9 秒降到 2.6 秒、在 GB200 上由 6.1 秒降到 2.3 秒，Nemotron Ultra v3 由 8.2 秒降到 2.3 秒；重灌专项微基准中，Qwen3.8 2.4T BF16 用时 4.3 秒。
启示与展望
报告的范围是重灌这一步的延迟：基准覆盖 NVIDIA DGX H100（NVL8）与 DGX GB200（NVL72）上的 Qwen 3 235B、DeepSeek v3 671B、Nemotron Ultra v3，以及 Qwen3.8 2.4T BF16 的重灌专项微基准，面向在分置式强化学习后训练中维护训练与推理两套 GPU 的框架开发者。
混合路径成立的前提是前馈投影权重在最新大模型中约占参数的 95%，其余小权重仍走传统路径。节点增删导致 GPU 成员变化时，NeMo RL 目前销毁并重建通信组，基于 NCCL shrink 与 grow 接口的容错支持列为后续更新。