Beijing Academy of Science and Technology

作者提出自回归检索器 ARR：它在多模态检索中交替执行“检索一个条目”和“更新查询嵌入”，把选中条目的多模态内容追加到查询历史后再编码，用最终嵌入对语料排序；训练分两阶段，先用逐步对比监督的监督微调教会编码器解读反馈，再用强化学习把反馈条目当作动作、以相关条目最终倒数排名为奖励优化选择，并通过查询侧适配器在固定条目索引上完成优化。

作者提出自回归检索器 ARR：它在多模态检索中交替执行“检索一个条目”和“更新查询嵌入”，把选中条目的多模态内容追加到查询历史后再编码，用最终嵌入对语料排序；训练分两阶段，先用逐步对比监督的监督微调教会编码器解读反馈，再用强化学习把反馈条目当作动作、以相关条目最终倒数排名为奖励优化选择，并通过查询侧适配器在固定条目索引上完成优化。