跳到主要内容
检索

# 循环混合专家架构

1 篇关联报道

订阅更新
  1. arXiv

    同一套权重跑两遍:Metis-1.6用1.02T token把Logos推到40项基准第7,数学排第2

    Metis-1.6发布两个从零训练的语言模型Praxis与Logos,每个token都让同一套Mamba-2与注意力混合专家堆栈跑两遍,各用1.02T token训练。Logos在40项后训练基准上平均52.93,在17个模型中排第7,比Qwen3-4B低0.75分;但披露数据量的对比模型训练中位数为12T token,超过它的模型都至少用了28T。数学上它30个模型中排第2,AIME 2025为67.50%,代码、指令跟随与长上下文偏弱。

已读完全部报道