跳到主要内容
检索

Yanbei Chen

1 篇关联报道

订阅更新
  1. arXiv

    循环混合专家模型首次拥有联合缩放定律:稀疏度把循环的有效参数增益抬高并延后饱和

    该工作提出 Loop Scaling Laws,首次把循环(recurrence)与 MoE 稀疏度同模型规模、训练数据一起纳入同一个缩放定律,用一个有界且以稀疏度为条件的循环映射刻画循环带来的有效参数增益及其饱和点,在留出集上比线性与幂律映射预测损失更准,并据此在算力与显存约束下选择循环次数与专家数,在万亿 token 规模上让 0.3B 激活/1.3B 总参数的循环 MoE 在推理基准上追平约 2 倍大的非循环 MoE。

已读完全部报道