跳到主要内容
检索

Xi Ding

1 篇关联报道

订阅更新
  1. arXiv

    STAVE 用两个任务向量替换上下文示例,在六个多模态模型上以零样本推理成本超过逐层干预方法

    该工作提出 STAVE,用两个任务特定向量(一个更新答案生成 token 的读出向量、一个更新其余结构 token 组的上下文向量)加到冻结大模型或大视觉语言模型的输入嵌入上以替代上下文示例,二者用答案标签在有示例和无示例提示上训练;在六个 LMM 与五个 LLM 上,STAVE 以远少任务参数匹配或超过逐层干预方法,在 18 个文本任务上超过 15-shot ICL 与既有任务向量,且推理成本与零样本相同。

已读完全部报道