跳到主要内容
检索

# 增量权重同步

2 篇关联报道

订阅更新
  1. Baseten

    770 GB 检查点同步从36秒压到15秒:Baseten把父版权重留在GPU上,暂停只剩0.8秒

    Baseten 把增量权重同步的父本从主机内存搬回 GPU,使约 770 GB 的 GLM-5.3 检查点同步从 36 秒、6 秒请求暂停降到 15 秒、0.8 秒暂停,吞吐最高提升 3.2 倍。此前每个副本要在主机内存保留完整父本,8×B300 节点上它与 1.1 TB 主机 KV 缓存无法共存,缓存只能缩到 275 GB。新路径只读取发生变化的 GPU 位置,并用增量校验和验证后再写入。

  2. arXiv

    NeMo-DCR 只传约 1% 变化权重,把 1T 模型跨集群重配从 87.5 分钟压到 150 秒

    NeMo-DCR 提出一种比特精确的增量重配方法:在规范坐标下只传输每步变化的权重,用固定仿射映射直接投影变化、用残差转换覆盖其余变化,并以 XOR 掩码与覆写混合编码、经原生加载器原地应用,配合可恢复的联合提交;在 30B–1T 模型、3% 与 5% 变化率的压力测试中,重配比仅传输全量检查点的参考方案快 12–40 倍,1T 中继树重配耗时 150 秒而非 87.5 分钟。

已读完全部报道