跳到主要内容
检索

# 统一多模态模型

4 篇关联报道

订阅更新
  1. arXiv

    Möbius把去噪搬进语言模型:不靠运动VAE,HumanML3D生成与描述同时领先

    Möbius把运动生成中的整个去噪过程放进与运动理解共用的多模态表示空间,干净运动、带噪运动和文本一起参与共享注意力,不再依赖离散分词器或预训练运动VAE。在HumanML3D上,0.6B版本在文本到运动生成和运动描述两项任务上均优于扩散模型、语言模型及统一运动-语言基线;扩展到1.7B参数、1700小时运动数据后,各运动-语言任务进一步提升。

  2. arXiv

    统一多模态模型的概念遗忘并不统一:只改生成路径,识别遗忘率仅24%,UniForget把联合遗忘提到80%

    统一多模态模型把图像生成与视觉理解放在同一个模型里,但已有的单路径遗忘方法难以让目标概念在两条路径上同时消失。UUBench 用30个目标概念和60个同类邻近概念,把生成与理解任务配对到同一实体上评估;UniForget 把生成侧权重编辑与理解侧低秩适配更新合并进同一检查点,在 BAGEL-7B-MoT 与 Janus-Pro-7B 上分别取得80.0%和92.7%的联合遗忘率,同时暴露出遗忘与能力保持之间的取舍。

  3. arXiv

    UniEvo-VL 让多模态模型用自己的批评做老师,GenEval 从 0.747 升到 0.808

    UniEvo-VL 提出一种在线策略自蒸馏(OPSD)训练配方:让同一个多模态模型分别扮演只看原始提示的学生和额外看到批评改写提示的老师,在学生的去噪轨迹上最小化两者逐状态分布差异,在 Qwen-Image-2512 上把 GenEval 从 0.747 提升到 0.808、GenEval2 Soft-TIFA 从 32.97 提升到 35.53,并显示更强外部批评者(GPT5.6-Luna)可带来更高上限,而文本渲染等任务的收益并不一致。

  4. arXiv

    OmniTaskonomy 用 19 个生成任务对 25 项理解能力做迁移测绘:先做 I2I 再微调 I2T 可让理解提升,且梯度对齐与增益正相关

    作者在统一多模态模型 BAGEL 上构建成对的图像到图像(I2I)生成与图像到文本(I2T)理解任务,发现以 I2I 训练更新共享参数、再做 I2T 微调的配方能随 I2I 数据增加而稳定提升理解表现,并据此建立覆盖 19 个 I2I 任务与 25 项理解能力的 OmniTaskonomy 分类体系,绘制出选择性、任务依赖的生成到理解迁移图,同时发现生成与理解梯度对齐更强之处对应更大的下游迁移增益。

已读完全部报道