Metis-1.6发布两个从零训练的语言模型Praxis与Logos，每个token都让同一套Mamba-2与注意力混合专家堆栈跑两遍，各用1.02T token训练。Logos在40项后训练基准上平均52.93，在17个模型中排第7，比Qwen3-4B低0.75分；但披露数据量的对比模型训练中位数为12T token，超过它的模型都至少用了28T。数学上它30个模型中排第2，AIME 2025为67.50%，代码、指令跟随与长上下文偏弱。
Jane Street的机器学习工程师与NVIDIA合作，用NVIDIA CUDA Tile（cuTile）这一Python端GPU编程模型重写了Mamba-2的前向计算，并针对Blackwell张量核心做了调度与访存优化。Mamba-2兼有循环网络的固定大小隐状态和注意力式的矩阵乘法训练路径，但前向计算仍需高效内核。在单块B300上，这组内核比Triton实现快1.14到1.82倍，加速幅度随序列长度和状态规模增大而提高；这是内核级结果，端到端训练还取决于反向传播实现。
状态空间模型解码此前每步都要把整个循环状态读入再写回，状态读写成为显存带宽瓶颈，投机解码也缺少廉价回滚。ReplaySSM把状态改写成一份检查点加一段近期输入的缓冲区，只在缓冲区填满时写检查点，多数步骤只追加输入并直接算输出。在vLLM上对Mamba-2与Gated DeltaNet实现后，服务批大小256时标准解码相对调优基线加速，两个120B级模型上吞吐接近vLLM投机解码，分离精度还降低了输出KL散度与下游精度损失。
混合模型把状态空间层与少量注意力层交错，状态空间层用固定大小状态替代随上下文增长的键值缓存，但在服务批量下它反而成为延迟瓶颈，并让投机解码与量化难以奏效。ReplaySSM把状态表示为一个检查点加一段近期输入缓冲，输出计算与状态更新因此分开，多数步骤只追加输入、不写回状态。在四个混合模型上，批量256时内核快1.46至1.80倍、解码步快1.20至1.47倍；两个120B级模型在批量512的投机解码吞吐为vLLM的1.85倍和2.10倍。
已读完全部报道