Songlin Jiang

NeMo-DCR 提出一种比特精确的增量重配方法：在规范坐标下只传输每步变化的权重，用固定仿射映射直接投影变化、用残差转换覆盖其余变化，并以 XOR 掩码与覆写混合编码、经原生加载器原地应用，配合可恢复的联合提交；在 30B–1T 模型、3% 与 5% 变化率的压力测试中，重配比仅传输全量检查点的参考方案快 12–40 倍，1T 中继树重配耗时 150 秒而非 87.5 分钟。

NeMo-DCR 提出一种比特精确的增量重配方法：在规范坐标下只传输每步变化的权重，用固定仿射映射直接投影变化、用残差转换覆盖其余变化，并以 XOR 掩码与覆写混合编码、经原生加载器原地应用，配合可恢复的联合提交；在 30B–1T 模型、3% 与 5% 变化率的压力测试中，重配比仅传输全量检查点的参考方案快 12–40 倍，1T 中继树重配耗时 150 秒而非 87.5 分钟。

Nereus 是一个面向大语言模型强化学习后训练的成本感知运行时，它把每个模型-阶段副本抽象为 Elastic Model Unit，用全局转移图编排 Split、Merge、Extend、Destroy 四种原语，在运行中按“收益能否偿还转移成本”的准则在线调整 DP/TP/PP 执行计划；在真实数据构建的轨迹上，在线 TP/PP 自适应相对初始固定 TP/PP 布局把平均步延迟降低 27.7%，1,000 步扩展到 1,024 GPU 的运行中六次转移仅占总运行时间的 0.079%，8B PPO 端到端吞吐相对 OpenRLHF 提升 2.14–7.27 倍、相对 Verl 提升 1.10–1.47 倍。

Nereus 是一个面向大语言模型强化学习后训练的成本感知运行时，它把每个模型-阶段副本抽象为 Elastic Model Unit，用全局转移图编排 Split、Merge、Extend、Destroy 四种原语，在运行中按“收益能否偿还转移成本”的准则在线调整 DP/TP/PP 执行计划；在真实数据构建的轨迹上，在线 TP/PP 自适应相对初始固定 TP/PP 布局把平均步延迟降低 27.7%，1,000 步扩展到 1,024 GPU 的运行中六次转移仅占总运行时间的 0.079%，8B PPO 端到端吞吐相对 OpenRLHF 提升 2.14–7.27 倍、相对 Verl 提升 1.10–1.47 倍。