跳到主要内容
检索

# 梯度对齐

2 篇关联报道

订阅更新
  1. arXiv

    自蒸馏的推理增益经不起换题：代码题上只在训练过的题目里有效，梯度方向还常与策略梯度相反

    两项自蒸馏方法在代码、科学推理、工具使用和数学任务上的增益，换到没见过的题目就消失或转为下降，数学上的提升主要来自把思考模式搬进非思考模式，而不是用了参考答案这类特权信息。

    Massachusetts Institute of Technology
    Jason Ken Adhinarta（第一作者）
    自蒸馏自蒸馏策略优化在线策略自蒸馏组相对策略优化梯度对齐
  2. arXiv

    OmniTaskonomy 用 19 个生成任务对 25 项理解能力做迁移测绘：先做 I2I 再微调 I2T 可让理解提升，且梯度对齐与增益正相关

    作者在统一多模态模型 BAGEL 上构建成对的图像到图像（I2I）生成与图像到文本（I2T）理解任务，发现以 I2I 训练更新共享参数、再做 I2T 微调的配方能随 I2I 数据增加而稳定提升理解表现，并据此建立覆盖 19 个 I2I 任务与 25 项理解能力的 OmniTaskonomy 分类体系，绘制出选择性、任务依赖的生成到理解迁移图，同时发现生成与理解梯度对齐更强之处对应更大的下游迁移增益。

    Jiaxin Ge（第一作者）
    OmniTaskonomy统一视觉能力分类法跨模态迁移梯度对齐BAGEL模型统一多模态模型

已读完全部报道