跳到主要内容
检索

# 多模态推理

6 篇关联报道

订阅更新
  1. Mistral Blog

    Mistral Large 4 开放权重预览:1万亿参数、490亿激活,网络安全测试拿下82%

    Mistral 发布 Mistral Large 4 的公开预览,这是一个 1 万亿参数、490 亿激活参数的原生多模态模型,权重计划在本月底放出。此前开放权重模型在网络安全、金融、法律等企业任务上通常落后于闭源前沿模型,而 Mistral 称 ML4 在这些领域是开放模型中的最好水平,并在视觉定位的 Dense 200 上以 42% 对 41% 超过 GPT-6-Astra。在 Artificial Analysis Cyber Index 的一项“复现并修补真实漏洞”测试中,ML4 得 82%,为所有模型中最高。

  2. Mistral Blog

    Mistral开放万亿参数模型权重:编程智能体少用47%词元,终端任务提升13个百分点

    Mistral AI 公开了旗舰模型 Mistral Large 4(Le Chonk)的权重,这是一个在公开预览后经三周额外强化学习改进的万亿参数原生多模态模型。在 Artificial Analysis 编程智能体指数上,它以 48% 与领先开放权重模型 GLM-5.3 基本持平,而每个任务平均少用 47% 的词元;在 Terminal-Bench 4.0 上,它比自身公开预览版提升 13 个百分点至 41%,输出词元减少 30%。模型还提供低、中、高三档推理模式,供开发者权衡性能与推理成本。

  3. Hugging Face - Blog

    Apertus 1.5把图像和音频塞进文本词表:架构不动,8B与70B权重以Apache 2.0开放

    瑞士Apertus项目发布1.5版8B与70B模型,在1.0基础上继续预训练,新增图像与音频理解、可选思考模式,并把上下文窗口扩到262,144个token。多模态走早期融合路线:图像和音频被切成离散token,与文本token排进同一序列,不另设视觉编码器,因此模型架构不变、训练仍按纯文本速度运行。模型只理解图像和音频、输出仍是文本,语音处理仍属实验性;项目自述整体仍落后于前沿开放权重模型。

  4. NVIDIA Technical Blog

    英伟达放出120B多模态开放模型:单卡智能体吞吐最高5倍,企业可自行后训练

    英伟达发布开放可定制的多模态模型 Nemotron 3.5 Super VL,面向需要推理、工具调用与文本图像文档视频理解的长流程智能体任务。它采用120B参数的混合专家架构,每个token激活12B参数,官方称在单张GPU上处理智能体任务时吞吐最高可达同尺寸其他开放模型的5倍。企业可用 NeMo 以自有数据、工具与流程做后训练,官方同时放出智能体工具调用、金融推理与40个视觉语言数据集。

  5. arXiv

    Scaffolding Minds 用可学习脚手架编码器与自适应高斯采样器改造潜空间视觉推理,FrozenLake 平均提升 9.5 分、九项视觉推理基准平均提升 5.6 分

    该工作提出 Scaffolding Minds 两阶段框架:第一阶段用可端到端训练、经下游任务损失优化的脚手架编码器替代冻结通用视觉编码器来生成潜空间目标,第二阶段用均值与方差均可学习的高斯采样器在潜空间采样残差动作以支持强化学习探索,在 FrozenLake 空间规划上较最强潜推理基线平均提升 9.5 分(Level 32 上提升 19 分),在九个视觉中心推理基准上平均提升 5.6 分。

  6. arXiv

    SCOPD 用稀疏上下文在线自蒸馏把 10% 视觉 token 下的 VLM 性能从 86.37% 提升到 92.43%

    该工作通过固定上下文的 Pass@K 分析发现视觉 token 剪枝后的性能下降并非全是信息丢失,而是模型未能可靠利用残留证据(表征—利用差距),并提出 SCOPD 与 SCOPD+ 两种稀疏上下文在线自蒸馏方法,在 10% 视觉 token 保留率下把 13 个基准的归一化平均性能从 Vanilla 的 86.37% 提升到 90.49% 和 92.43%,且不改变架构、不增加推理开销、不需要真实答案。

已读完全部报道