跳到主要内容
检索

# Echo通信原语

2 篇关联报道

订阅更新
  1. arXiv

    张量并行通信压到4比特：Echo把舍入误差送回下一次调用，1GB消息比NCCL快2.09倍

    Echo把张量并行的all-reduce改成4比特传输、高精度求和，并把每次舍入误差反馈到后续调用，使累积误差不随层数增长；在A100上1GB消息比16比特NCCL快2.09倍，Qwen3-8B七项基准平均只差0.4分。

    National University of SingaporePeking University
    Xingyu Xie（第一作者）
    Echo通信原语量化全归约误差反馈张量并行低位量化
  2. arXiv

    ECHO-k 用基础模型内部表征作自监督代理目标，在未知下游任务下按预算顺序选取模态并提升下游性能

    该工作提出 ECHO-k，一种任务无关、自监督的模态获取原则：以深度模型（如基础模型）的内部预训练表征作为汇总跨模态信息的代理目标，并在一个简化线性设定下给出理论保证，据此导出用于顺序模态选择的强化学习策略；在与任务无关且无标签的获取基线对比中，ECHO-k 在多种基础模型后端上持续提升受预算约束的下游性能。

    Eeshaan Jain（第一作者）
    Echo通信原语测试时特征获取自监督学习强化学习

已读完全部报道