# 误差反馈

Echo把张量并行的all-reduce改成4比特传输、高精度求和，并把每次舍入误差反馈到后续调用，使累积误差不随层数增长；在A100上1GB消息比16比特NCCL快2.09倍，Qwen3-8B七项基准平均只差0.4分。

Echo把张量并行的all-reduce改成4比特传输、高精度求和，并把每次舍入误差反馈到后续调用，使累积误差不随层数增长；在A100上1GB消息比16比特NCCL快2.09倍，Qwen3-8B七项基准平均只差0.4分。