Mellum2.1把训练重心移到强化学习：12B开源模型能自己翻仓库、改文件、验改动
核心概要
Mellum2.1是Mellum2的下一版，架构未变，仍是12B混合专家模型、2.5B激活参数、Apache 2.0许可，改动集中在预训练之后的训练。此前Mellum2速度够快，但无法在仓库层面完成工作；这一版经过在真实环境中、跨数千个环境、数百万次沙箱运行的强化学习，能够探索代码库、编辑文件并检查自己的改动。在统一评测设置下，它与Mellum2以及同类开源模型Qwen3.5-9B、Gemma 4 E4B比较，提升最大的是智能体编程，同时在编程、竞赛编程、数学、工具调用和通用知识上都有增益。
深度剖析
Mellum2.1把训练重心从预训练后的短收尾阶段移到强化学习，使这个12B混合专家模型能在代码仓库里自主探索、编辑文件并核验自己的改动。 上一版Mellum2虽然快，但无法在仓库层面完成工作；这一版的变化全部发生在预训练之后，架构与2.5B激活参数规模保持不变。 评测把Mellum2.1与Mellum2以及同类开源模型Qwen3.5-9B、Gemma 4 E4B放在同一套评测设置下比较，提升最大的一项是智能体编程。
训练侧的做法是在真实环境中跑强化学习，并让模型在训练中反复接触可执行、可验证的任务。 强化学习从训练末端的短阶段变成训练的主要部分，同时新增数学、竞赛编程、科学、工具使用和软件工程等任务，把开放强化学习数据集与自建任务混合使用。 开放数据常带有失效测试、无法验证的答案或过易、过难的任务，因此每个来源在进入训练前都经过过滤；配套基础设施在内部运行数千个强化学习环境，训练期间启动了数百万个沙箱。
速度没有因后训练而下降，多令牌预测让单次请求更快。 后训练没有改动架构，因此Mellum2.1与Mellum2一样快，多令牌预测在此基础上进一步提速。 在重负载下，Mellum2.1是该组中最快的模型，服务的令牌量接近Qwen3.5-9B的两倍；对单次请求，多令牌预测带来约1.6倍加速。
启示与展望
已展示的范围是编码智能体与子智能体场景：在仓库中探索、编辑文件、检查改动，以及数学、竞赛编程、工具调用和通用知识等任务；模型可从Hugging Face获取，面向在本地或自有基础设施上运行的用户。GGUF构建（用于llama.cpp、Ollama、LM Studio）以及用于vLLM推测解码的多令牌预测头被描述为即将推出。
公开材料对性能提升以定性方式表述，未给出逐项基准分数；重负载下最快与接近两倍令牌吞吐、单请求约1.6倍加速均未附带具体测量条件。GGUF构建与vLLM推测解码用的多令牌预测头尚未发布。