OmniTaskonomy 用 19 个生成任务对 25 项理解能力做迁移测绘:先做 I2I 再微调 I2T 可让理解提升,且梯度对齐与增益正相关
作者在统一多模态模型 BAGEL 上构建成对的图像到图像(I2I)生成与图像到文本(I2T)理解任务,发现以 I2I 训练更新共享参数、再做 I2T 微调的配方能随 I2I 数据增加而稳定提升理解表现,并据此建立覆盖 19 个 I2I 任务与 25 项理解能力的 OmniTaskonomy 分类体系,绘制出选择性、任务依赖的生成到理解迁移图,同时发现生成与理解梯度对齐更强之处对应更大的下游迁移增益。