跳到主要内容
检索

# 后训练

30 篇关联报道

订阅更新
  1. Hugging Face Blog

    LLMON给大模型上下文装上显式结构:Granite 4.1 3B/8B预览版在OPI上把注入攻击挡掉近零

    IBM 团队发布 LLMON(LLM Object Notation),一种用保留特殊 token 标记指令、数据与要求边界的标记语言,并推出基于 Granite 4.1 3B 与 8B 基座训练的两个实验预览模型。其思路是把上下文里语义连贯的组件各自变成可寻址的块,再由一个执行块声明运行哪条指令、作用于哪些数据、输出写到哪里。在 OPI 基准上,LLMON 预览模型比测试中最好的前沿模型多挡住 47% 的攻击、比最好的开源模型多挡住 95%,同时通用基准表现与 Granite 4.1 Instruct 相当。

  2. arXiv

    投机解码草稿模型换训练目标:D-REAL 一轮后训练,DFlash2 在 GSM8K 吞吐提升 9.4%

    投机解码的草稿模型通常按逐词交叉熵训练,但固定开销下真正决定加速比的是目标模型连续接受的草稿词数,即接受长度。D-REAL 把这一接受长度写成沿草稿实际采样轨迹的期望,并用带停止梯度的接受率比值构造可微替代损失,使梯度估计无偏。在 DSpark 与 DFlash2 两种并行草稿模型、十个基准上,一轮后训练把宏平均接受长度从 5.07 提到 5.13、从 4.88 提到 5.10;GSM8K 并发服务中 DFlash2 输出吞吐提升 9.4%。

  3. MiniMax

    MiniMax 开源 H3-Image:4K 图像生成压到 10 秒内,速度最高为主流方案 5 倍

    MiniMax 发布开源权重图像生成模型 H3-Image,支持文生图、参考图生成与图像编辑,可在 10 秒内生成 4096×4096 的 4K 图像,并称速度最高达主流方案的 5 倍。此前 4K 输出比常见的 1K、2K 更耗时,难以进入日常创作流程。这一速度来自后训练流程的整体改动,包括数据、强化学习、采样步数削减、PE 与部署优化,而非单项改动。

  4. vLLM Blog

    VeRL-Omni v0.3.0 把异步执行铺到多模态强化学习:短答案仍宜同步,长回答才轮到分离异步

    VeRL-Omni v0.3.0 把异步执行扩展到文本、音频输入与扩散模型的多模态强化学习训练,并把基于 TransferQueue 与 ReplayBuffer 的 V1 训练器设为默认。此前严格交替的循环会让生成与训练两个角色互相空等。在 MiniCPM-o 4.5 的音视频问答实验中,分离异步在自然短回答上每提示慢约 9%,在强制 1024 token 回答时每提示快约 6.7%,说明执行方式要按负载选。

  5. Baseten

    Baseten推出环境网络:把强化学习环境外包给审核过的团队,训练和推理仍留在自己手里

    Baseten推出环境网络,把为后训练构建强化学习环境的工作交给一批经过审核的合作伙伴公司。此前这类环境由Baseten自己的应用研究团队在Harvey、Lovable、Gamma等后训练项目中手工搭建,费时且依赖研究者的判断。合作方直接接触客户、用客户的真实数据构建环境,Baseten负责训练与推理部署;Baseten还计划开源一批前沿质量的环境及审核与训练方法。

  6. aclanthology.org

    掩码扩散模型后训练不再随机抽块:全块估计器让每块只算一次,五个基准中四个准确率最高

    掩码扩散语言模型的后训练依赖对分块代理目标的蒙特卡洛估计,而原有做法随机抽取块索引,同一块可能被重复计算、另一些块从未被评估。全块估计器改为让每个块恰好评估一次再取平均,理论分析表明它保持无偏并消除块选择带来的组间方差;在数学、规划和编码五个基准上,它在四个基准上取得最高准确率,相对随机块采样基线平均高出12.79分。

  7. Baseten

    Postman把智能体工作流交给Baseten推理:企业部署多了一条分工路径

    Baseten与Postman宣布合作,把企业级AI智能体的构建与运行拆成两层:Postman的Agent Stack负责准备API、控制智能体可访问的系统并治理其动作,Baseten负责高性能推理、跨云GPU容量与后训练。Baseten称其模型API在2026年发布的七个模型上进入Artificial Analysis吞吐与延迟的前两名,并以Harvey后训练27B开源模型匹配闭源前沿的案例说明专用化路线。

  8. Modal Blog

    Modal发布Dojo训练库:已有智能体评测与轨迹的团队,可用自有数据启动后训练

    Modal发布后训练库Modal Dojo,面向已在生产环境部署智能体、并积累评测与轨迹数据的团队。它把模型选择、数据加载、训练配方和指标观测收进一套接口,官方示例用Qwen3_8_27B在GSM8K的120条训练样本上启动训练。该库建立在Miles、Slime等开源框架之上,Modal称已验证从五亿到数万亿参数规模的模型。

  9. arXiv

    开源后训练配方让模型对低职位发帖人更苛刻,七个商用模型未见此偏向

    同一批随机化发帖人资料的核查任务上,开源 Tülu-3 后训练配方让 OLMo-2 32B 与 Tülu-3 70B 对低职位发帖人的说法更常判为不实,效应不到一个百分点但统计可靠,且能通过训练漂移检验并在独立声明集上复现;Meta、阿里巴巴和 Mistral 的配方没有产生这一偏向。在 OLMo-2 32B 中,模型并未更注意职位,而是把低职位从推向“真”改为推向“假”,这一翻转由单一残差流方向承载,发生在监督微调阶段。七个已部署商用模型都没有表现出对低职位发帖人的额外怀疑。

  10. Baseten

    决策模型再添小尺寸:joey-1以20毫秒P50延迟返回单个token,成本为mammoth-1的十分之一

    Base Labs 发布 2B 参数的决策模型 joey-1,把分类、审批这类只需一个标签的调用从生成文本改为一次前向直接返回单个 token 和校准概率。此前这类请求要靠 LLM 生成文本,每次调用都叠加成本与延迟。在生产规模下,joey-1 处理平均 2000 token 请求的 P50 端到端延迟为 20 ms,约为 elephant-1(49 ms)的 2.5 倍快,每百万 token 价格 0.01 美元,为 mammoth-1 的十分之一。