NeMo-DCR 只传约 1% 变化权重,把 1T 模型跨集群重配从 87.5 分钟压到 150 秒
NeMo-DCR 提出一种比特精确的增量重配方法:在规范坐标下只传输每步变化的权重,用固定仿射映射直接投影变化、用残差转换覆盖其余变化,并以 XOR 掩码与覆写混合编码、经原生加载器原地应用,配合可恢复的联合提交;在 30B–1T 模型、3% 与 5% 变化率的压力测试中,重配比仅传输全量检查点的参考方案快 12–40 倍,1T 中继树重配耗时 150 秒而非 87.5 分钟。
NeMo-DCR 提出一种比特精确的增量重配方法:在规范坐标下只传输每步变化的权重,用固定仿射映射直接投影变化、用残差转换覆盖其余变化,并以 XOR 掩码与覆写混合编码、经原生加载器原地应用,配合可恢复的联合提交;在 30B–1T 模型、3% 与 5% 变化率的压力测试中,重配比仅传输全量检查点的参考方案快 12–40 倍,1T 中继树重配耗时 150 秒而非 87.5 分钟。
已读完全部报道