# NCCL M2N Reshard

强化学习后训练中，训练与推理分置在不同 GPU 上，每步都要把最新权重从训练侧搬到推理侧，这一步叫重灌。传统做法先把完整参数聚合再广播，推理 GPU 即使只要一小片也会收到整张参数，通信量约为模型权重的两倍。NVIDIA 把重灌改写为分布式张量在两种切分布局之间的重切分，并开源参考实现 NCCL M2N Reshard；在 NeMo RL 的基准中，重灌延迟相对传统聚合广播降低 2.7 倍到 5.7 倍。

强化学习后训练中，训练与推理分置在不同 GPU 上，每步都要把最新权重从训练侧搬到推理侧，这一步叫重灌。传统做法先把完整参数聚合再广播，推理 GPU 即使只要一小片也会收到整张参数，通信量约为模型权重的两倍。NVIDIA 把重灌改写为分布式张量在两种切分布局之间的重切分，并开源参考实现 NCCL M2N Reshard；在 NeMo RL 的基准中，重灌延迟相对传统聚合广播降低 2.7 倍到 5.7 倍。