会议转写不再只看谁在说话:结构化说话人条件让重叠语音下的目标识别更稳
会议转写需要按指定说话人输出文字,但此前的四状态活动条件会把不同的干扰人数和交接历史压成同一个目标条件。结构化说话人条件把每条说话人活动轨迹先单独编码,再与整场会议得到的声学身份结合,并用条件相关的低秩跨通道调制控制声学编码器。在 Qwen3-ASR-0.6B 与 oracle 分离结果上,完整方法用 1.46M 条件参数,在四个会议测试集上相对四状态对角条件取得 6.23% 的平均相对 cpER 下降。
会议转写需要按指定说话人输出文字,但此前的四状态活动条件会把不同的干扰人数和交接历史压成同一个目标条件。结构化说话人条件把每条说话人活动轨迹先单独编码,再与整场会议得到的声学身份结合,并用条件相关的低秩跨通道调制控制声学编码器。在 Qwen3-ASR-0.6B 与 oracle 分离结果上,完整方法用 1.46M 条件参数,在四个会议测试集上相对四状态对角条件取得 6.23% 的平均相对 cpER 下降。
字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器(SAE,把层输出重建为一组稀疏可解释特征的字典),利用编码器对专家输出的仿射性,把每个特征的激活精确拆成各专家的贡献。按语料平均后,每个专家得到一组它主要驱动的特征;这些特征多数只有一到两个主导专家,且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。
在AMD Instinct MI355X上,Qwen3-30B-A3B-Instruct经监督微调后再做全异步智能体强化学习,在SWE-bench Verified的100个分层任务子集上把pass@1从7.3%提升到27.5%,且强化学习任务来自未出现在该基准中的代码库。训练的主要瓶颈不是GPU算力,而是长尾轨迹与CPU沙箱调度:限制轨迹长度让单步时间从850秒降到284秒,改用云沙箱并把并发提到384条后,吞吐从约860条/小时升到约3480条/小时。
多轮智能体蒸馏把教师监督改挂在交互状态上,只保留已执行动作与环境观测,Qwen3-4B 学生在 ALFWorld Seen 上以 43.39% 反超其 32B 教师。
在783份去标识化的乳腺钼靶、下肢全长与脑部磁共振自由文本报告上,一个由三个通用小模型加主席模型合成的“LLM议会”整体准确率为83.56%,低于医疗专用模型MedGemma 4B的88.72%,两者差异主要由下肢全长报告分类任务驱动。议会内部单个成员Qwen3-4B-2507在全部任务上取得最高准确率91.69%,高于议会与MedGemma;议会每份报告需四次模型调用、峰值显存约为MedGemma的2.44倍。
离线示范、当前策略采样和历史轨迹现在可以共用一个回归目标训练,在四个数学推理基准上,Qwen3-1.7B的统一配置把平均avg@32和pass@32比两阶段SFT加DAPO分别提高2.33和4.44个百分点。
在Qwen3-1.7B、4B、8B上以GRPO做无思考模式强化学习,准确率提升的同时回答变长、反思词增多、内部激活向原模型的思考模式偏移。权重缩放、激活替换与注意力头干预三类实验显示,这部分增益主要来自对原模型已有思考能力的重新激活,而非学到新的推理行为;8B上替换8维思考子空间可去掉75%的增益,反向替换可把50%的增益转移给原模型。
面向家庭护理排班的智能体不再直接用小模型硬扛。零样本小模型在窄任务上失败,而每改一次行为就重训又太慢,于是先在GPT-5.4-nano上用提示词迭代出稳定行为,再把11.6k条真实生产决策经LoRA微调进Qwen3-8B。该模型与记录决策的一致率为0.913,高于教师模型重跑自身提示词时的72.7%自一致率。
语言模型微调新任务时会遗忘旧能力,而用于保护的旧数据只覆盖模型所知的一部分。研究者把可复习的任务描述与示例组织成任务库,让冻结的更新前模型自己生成复习数据,并在四个未参与构造的留出任务上检验保护是否外溢。合并两个部分任务库后,三个测试规模的平均留出保留率都高于任一单个库,最多高出4.42个百分点;在4B规模上,结合新任务信息挑选复习目标比随机挑选高2.75个百分点,更小的模型没有这一优势。
在Qwen3-14B的事实问答上,固定生成器、另训一个答案筛选器,比直接训练模型何时弃答更有效。TriviaQA上,筛选器把平均覆盖率从原模型校准置信度过滤的20.2%提高到30.9%,同时把已作答答案的合并错误率从23.0%降到14.5%;但换到NQ-Open,其平均效用仍低于全部弃答,跨数据集可靠弃答仍未解决。