跳到主要内容
检索

# 多教师在线策略蒸馏

16 篇关联报道

订阅更新
  1. arXiv

    腾讯混元发布 Hy ASR 3.0:中文、英文、粤语公开基准聚合错误率均低于参评系统

    腾讯混元团队发布基于大语言模型的语音识别系统 Hy ASR 3.0,支持中文、英文、粤语及另外 12 个汉语方言组,并可用热词表、问答对话和摘要等外部上下文引导识别。在公开中文、英文、粤语基准上,其聚合错误率分别为 4.64%、5.22% 和 5.06%,均低于参评的非 Hy 系统;粤语单独聚合相对 Qwen3 ASR Flash 降低约 11.0%。系统还利用同一句话内部的信息区分同音或近音关键词,无需额外上下文输入。

  2. arXiv

    27B工程模型Micius-Flash开源:硬件编码均分64.2%,比同尺寸基线高15分

    Micius-Flash是一个27B参数、支持原生多模态输入与256K上下文窗口的工程模型,以半导体工程为主要专精与评测领域,并以开源模型形式发布。它用知识树驱动的数据飞轮组织半导体知识、合成数据并做质量校验,再以多教师在线策略蒸馏把知识推理、硬件编码、多模态理解与智能体四类专家能力合并进一个学生模型。在12个硬件编码基准上均分64.2%,比同尺寸通用基线高15.0分;在半导体专用智能体基准上得62.4%,高出同尺寸基线17.2分。

  3. Hugging Face - Blog

    0.8B参数也能当端侧助手:BotPsy在六项工具调用基准中五项超过2.5倍大的模型

    Tether AI Research 发布 0.8B 参数的端侧个人助手模型 BotPsy,基于 Qwen3.5-0.8B 经四阶段后训练强化工具调用。相比基座,BFCL v4 从 23.4 升到 44.0、ACEBench 从 30.1 升到 58.7、τ-bench 从 23.2 升到 51.5;在六项工具调用与智能体基准中五项领先,仅 Claw-Eval 落后于 2.5 倍大的 Qwen3.5-2B-Think。

  4. Hugging Face Blog

    0.8B参数也能当随身助手:BotPsy在六项工具调用基准中五项超过2.5倍大的Qwen3.5-2B-Think

    Tether AI Research发布BotPsy,一个基于Qwen3.5-0.8B、面向函数调用与智能体工作流的0.8B参数模型,可在设备端运行。它经监督微调、多教师在线蒸馏和两轮强化学习训练,在BFCL v4上从基座的23.4升到44.0,在τ-bench上从23.2升到51.5,并在六项工具调用与智能体基准中的五项超过参数量为其2.5倍的Qwen3.5-2B-Think,仅在Claw-Eval上落后(46.5对48.9)。模型仍会出错,定位为低到中等难度任务,不适用于高风险场景。

  5. Xiaomi MiMo

    MiMo-V2.6修掉工具调用重复:训练成本约9万美元,只有重启强化学习方案的4%

    MiMo-V2.6发布后,智能体场景里反复发出相同工具调用的问题被定位为强化学习奖励的盲区:只奖励正确性,不惩罚低于阈值的过量调用。团队先用单轮强化学习训练一个专门判断何时停止的教师模型,再通过多教师在线策略蒸馏把这一行为并入主模型。最终MiMo-V2.6-Pro与MiMo-V2.6-Flash在多种上下文长度和智能体框架下重复率大幅下降,完整训练约花费9万美元,为重启MixRL方案估计成本231万美元的4%。

  6. reflection.ai

    Reflection开源权重模型Beam交出安全成绩单:拒答89%有害请求,仍答82%无害请求

    Reflection发布首个开放权重模型Beam,并公开其安全训练方法与评测工具。此前公开安全评测覆盖不足,难以检验模型在对抗与工具调用场景下是否守住安全边界。Beam把预训练数据过滤与专门的安全对齐训练结合,用多教师在线策略蒸馏把能力教师与安全教师合并。在Iris安全评测的1500段人工撰写对话上,Beam拒答89%的有害请求,同时合规回答82%与安全相关的无害请求。

  7. NVIDIA Technical Blog

    英伟达放出120B多模态开放模型:单卡智能体吞吐最高5倍,企业可自行后训练

    英伟达发布开放可定制的多模态模型 Nemotron 3.5 Super VL,面向需要推理、工具调用与文本图像文档视频理解的长流程智能体任务。它采用120B参数的混合专家架构,每个token激活12B参数,官方称在单张GPU上处理智能体任务时吞吐最高可达同尺寸其他开放模型的5倍。企业可用 NeMo 以自有数据、工具与流程做后训练,官方同时放出智能体工具调用、金融推理与40个视觉语言数据集。

  8. arXiv

    SAIL以35B总参数、3B激活参数在SciCode与ArxivDIGESTables上取得对比最高分

    SAIL团队提出开源科学智能体模型SAIL(35B总参数、3B激活参数),通过“科学感知改进循环”让前沿模型智能体诊断其任务失败并据此从论文与代码库构建训练任务,再经监督微调、专家训练、多教师在线策略蒸馏与智能体强化学习训练;在13项评测中全面优于基座模型,并在SciCode与ArxivDIGESTables上取得对比最高分。

  9. arXiv

    Socio-Foundation 以三阶段分层蒸馏让 8B 模型在个体行为模拟上比 Qwen3-8B 提升 11 分

    该工作提出 FONTS 五维个体模拟能力分类,并据此构建约 1000 万条实例的训练语料库与三阶段后训练流程 Socio-Foundation:先用 DAPO 训练任务专家,再按能力维度经离策略蒸馏合并为五个能力专家,最后用多教师同策略蒸馏统一为单一模型;在自建 IndiEval 上平均分 61.7,比 Qwen3-8B 基线高 11.0 分,并在三个分布外基准上优于基线。

  10. arXiv

    SF-MOPD 用快慢双模型解耦多教师蒸馏中的能力干扰,在多尺度模型上同时提升多模态专长并减少通用能力退化

    该工作提出慢-快多教师在线策略蒸馏(SF-MOPD):用直接由各教师更新的快模型与作为学生指数滑动平均的慢模型配对,在 log 概率空间计算教师诱导更新并只移除把快模型推离慢模型的分量、保留对齐与正交分量;多模型尺度实验显示其缓解能力干扰、增强多模态专长并降低通用能力基准上的平均退化,稳定优于原始 MOPD。