跳到主要内容
检索

# 模型协作

5 篇关联报道

订阅更新
  1. Gemini

    谷歌发布Gemini 4 Hydrogen:面向日常编码与智能体工作流,100万token上下文统一定价

    谷歌推出Gemini 4 Hydrogen,一款面向日常编码与智能体工作流的快速执行模型,与专注长程推理的Gemini 4 Carbon和Argon形成分工。在默认高思考档下,它在Artificial Analysis智能指数上以51分超过Argon的50分,最高xhigh档达到54分;从Gemini 3.8 Flash迁移的团队任务完成速度快2.5倍,Terminal-Bench 4.1得分从18.2%升至57%。其100万token上下文窗口内输入输出分别按每百万token 1.50美元和7.50美元统一定价。

  2. arXiv

    两个独立模型不再互相拉平:只约束任务分数增量,六项语言任务平均比独立适配高0.52个百分点

    独立训练的模型各有互补能力,但知识迁移通常靠缩小预测或表示差异,这会削弱互补性。Corroborative Learning 让每个模型只学习任务分数的增量,再用同伴的表示在留出数据组上重建这些增量,重建得越差的方向被约束得越强。在六项语言任务、24个模型、36对组合上,它相对同等容量的独立适配在全部六项任务上都有提升,平均增益0.52个百分点,且推理时两个模型仍各自独立部署。

  3. arXiv

    多模态协同在缺模态时会反噬:Lluna把私有预测留在直连路径,八个数据集平均提升4.26%

    多模态协同在模态缺失时可能不如单个存活模型准确,Lluna把每个单模态模型的直接预测保留为私有路径,再用图上的公共分支做残差修正,并沿单模态移除链让信息更全的状态指导更少的状态。在情感计算、场景理解和医学预测的八个数据集上,非完整输入状态的平均表现比最强基线平均相对提升4.26%,最小输入下八个任务的协同增益均为正。

  4. arXiv

    大模型推理不再自己查自己:拆成1.7B、4B、8B三个模型互相交接,十项指标全超原模型

    单个大模型在推理时既生成又评估自己的中间步骤,容易偏向自己的输出,错误会顺着后续步骤传下去。一种协作学习方案把Qwen3-14B换成1.7B、4B、8B三个异构小模型,总参数量13.7B,通过显式交接任务状态让不同参数化的模型重新审视先前推理,再用协议蒸馏和步骤级监督训练它们何时继续、交接或终止。在五个基准的十项指标上,这套异构系统全部超过原14B模型,平均绝对提升2.38%,也超过24B的同构多智能体基线,且推理调用次数少于多智能体框架。

  5. arXiv

    Draft-KV 让接收方真正用上共享方草稿的 KV 状态:MMLU-Redux 上 0.5B 接收方从 37.45% 升到 78.04%,换成无关问题的消息则回落到 36.40%

    该工作先审计了已有潜在通信接口:在五个方法-数据集组合中,把消息换成来自无关问题的消息,准确率变化最多 0.60 个百分点,即使通信本身比单独接收方高出 15.44 个百分点,说明增益可能来自接口适配而非消息内容;随后提出 Draft-KV,把共享方起草答案时形成的键值状态经线性投影放入侧记忆、由带门控的注意力分支读取,并以渐进式训练从消息重建过渡到答案监督、同时用单侧护栏限制错配消息的伤害,两个模型保持冻结、接口仅训练 1.05M 参数(比 C2C 少 348 倍);在 Qwen3-8B 共享方与冻结的 Qwen2.5-0.5B-Instruct 接收方组合下,MMLU-Redux 达到 78.04%,单独接收方为 37.45

已读完全部报道