同一套权重跑两遍：Metis-1.6用1.02T token把Logos推到40项基准第7，数学排第2
核心概要
Metis-1.6发布两个从零训练的语言模型Praxis与Logos，每个token都让同一套Mamba-2与注意力混合专家堆栈跑两遍，各用1.02T token训练。Logos在40项后训练基准上平均52.93，在17个模型中排第7，比Qwen3-4B低0.75分；但披露数据量的对比模型训练中位数为12T token，超过它的模型都至少用了28T。数学上它30个模型中排第2，AIME 2025为67.50%，代码、指令跟随与长上下文偏弱。
深度剖析
Metis-1.6把深度换成重复：同一套混合堆栈对每个token执行两次，而不是堆叠更多层，因此只存一半的层数却经过两倍的序列混合与专家阶段。 此前的Metis-1.5是19层潜空间混合专家解码器，预训练50B token；Metis-1.6的预训练数据是它的十六倍。 Logos每token经过40个阶段（20层两遍），Praxis经过24个（12层两遍），参数量直接读自发布检查点的张量形状。
效率来自潜空间混合专家：专家在共享的1024维空间工作，Logos存10.23B参数但每token只触及2.36B。 对比集中超过Logos平均分的模型每token激活3.57B到10.94B参数。 Logos在40项后训练基准上平均52.93，17个模型中第7，比Qwen3-4B低0.75分；Praxis平均36.62，18个模型中第15。
数学是Logos的相对强项，11项数学基准平均65.83，30个模型中第2，仅落后Gemma 4 12B。 在HMMT February 2025（62.92）、HMMT February 2026（63.64）和IMO-AnswerBench（57.00）上它是本组最高分。 同一套测试框架用相同提示与评分器运行Metis和全部对比模型，竞赛数学按每题八次采样取均值。
报告同时记录了训练中的失误：配置的优化器从未运行，注意力矩阵在整个804.76B token预训练中由AdamW训练。 参数路由器按名称匹配把Muon分配给注意力矩阵，但注意力模块挂载在layers.N.mixer，全部落入默认组。 在100B与600B token检查点上审计训练器发现四处偏差，整个预训练期间都存在，损失曲线没有显示异常。
启示与展望
报告评估的是两个从零训练、各用1.02T token的模型，在Lernex自有测试框架、提示与评分器下与同类规模开源后训练模型的比较；作者说明分数与各模型开发者公布的数字不可直接比较。Logos与Praxis及其Base版本已发布在HuggingFace，均不含n-gram记忆，仓库附带生成对比表所用的基准数据。
去污染清单早于AIME 2025与2026、HMMT 2025与2026、Brumo 2025、IMO-AnswerBench和Apex 2025，而Logos恰在这些基准上相对最强，作者把针对它们的重叠检查列为下一步。注意力用AdamW、其余用普通Muon，使架构结论无法单独归因；10B token消融每个配置只跑一次，标准误只反映评估噪声。长度奖励的钳制用于代码、知识与智能体专家，未在观察到符号反转的推理专家上重跑。