跳到主要内容
检索

Xingyu Xie

1 篇关联报道

订阅更新
  1. arXiv

    张量并行通信压到4比特:Echo把舍入误差送回下一次调用,1GB消息比NCCL快2.09倍

    Echo把张量并行的all-reduce改成4比特传输、高精度求和,并把每次舍入误差反馈到后续调用,使累积误差不随层数增长;在A100上1GB消息比16比特NCCL快2.09倍,Qwen3-8B七项基准平均只差0.4分。

已读完全部报道