跳到主要内容
检索

# 多词元预测

4 篇关联报道

订阅更新
  1. Mellum2.1把训练重心移到强化学习:12B开源模型能自己翻仓库、改文件、验改动

    Mellum2.1是Mellum2的下一版,架构未变,仍是12B混合专家模型、2.5B激活参数、Apache 2.0许可,改动集中在预训练之后的训练。此前Mellum2速度够快,但无法在仓库层面完成工作;这一版经过在真实环境中、跨数千个环境、数百万次沙箱运行的强化学习,能够探索代码库、编辑文件并检查自己的改动。在统一评测设置下,它与Mellum2以及同类开源模型Qwen3.5-9B、Gemma 4 E4B比较,提升最大的是智能体编程,同时在编程、竞赛编程、数学、工具调用和通用知识上都有增益。

  2. arXiv

    多词预测的梯度里混着噪声:只保留自蒸馏项,1.2B模型零样本准确率反超单词预测

    多词预测(MTP,让模型一次预测多个未来词元)已是语言模型预训练的常见组件,但标准MTP的交叉熵梯度里混有一项低信噪比的残差,随规模增大而更嘈杂。Soft-MTP把这一残差从梯度中剔除,只回传其中隐含的KL自蒸馏信号,做法是复用已有的交叉熵梯度、不额外生成词表大小的logit矩阵,代码改动仅一行。在167M到1.2B参数的LLaMA式模型上,Soft-MTP在每个规模都优于标准MTP:下一词困惑度更低、自推测解码更快、零样本准确率更高;从689M起多词困惑度也更低,1.2B微调后数学与代码推理更强。

  3. LMSYS Org

    英伟达开源多模态模型落地SGLang:120B总参数只激活12B,单卡跑出243.9 tok/s

    英伟达发布开源多模态模型 Nemotron 3.5 Super VL,可接收文本、图像、文档和视频并输出文本,面向需要看屏幕、读文档、调用工具的常驻智能体。SGLang 在发布当天提供部署支持,用连续批处理、前缀缓存和投机解码承载推理。模型采用混合专家结构,总参数1200亿、每 token 激活120亿,并内置多 token 预测;在单张 RTX 6000 PRO 上达到 243.9 tok/s。

  4. vLLM Blog

    英伟达把视觉理解塞进常驻智能体:120B总参数只激活12B,单卡吞吐最高5倍

    英伟达发布 Nemotron 3.5 Super VL,一个面向长时间运行智能体的开放多模态模型,把文档、图像、视频理解与推理、指令跟随、工具调用合并在同一个模型里,减少分别部署文本模型和视觉模型的需要。它采用1200亿总参数、120亿激活参数的混合专家架构,配合混合 Mamba-Transformer、多令牌预测与 NVFP4 量化,并可在 NVIDIA NeMo 上用机构自有数据、工具、策略和工作流做后训练。官方给出的对照是:在单张 GPU 上,该模型在智能体任务上的吞吐最高可达同尺寸其他开放模型的5倍,任务完成速度可达4倍。

已读完全部报道