# 视觉语言模型可解释性

该工作提出 AnswerMap：把图像切成 K 个行条带与 K 个列条带，分别单独送入冻结的视觉语言模型并问一个关于查询的是/否问题，取行、列“yes”后验的外积得到查询条件下的空间图，再在图上定义固定读出（如期望、最大值）直接导出连续输出；在四个模型、三种查询分布上，该图与模型自身生成点的 AUC 为 0.85（注意力为 0.38），删除其区域使 53% 的正确答案翻转（注意力为 19%），并可用最大值标记幻觉对象、用期望在模型自身指向失败时定位、用最高质量区域裁剪修正约一半错误答案。

该工作提出 AnswerMap：把图像切成 K 个行条带与 K 个列条带，分别单独送入冻结的视觉语言模型并问一个关于查询的是/否问题，取行、列“yes”后验的外积得到查询条件下的空间图，再在图上定义固定读出（如期望、最大值）直接导出连续输出；在四个模型、三种查询分布上，该图与模型自身生成点的 AUC 为 0.85（注意力为 0.38），删除其区域使 53% 的正确答案翻转（注意力为 19%），并可用最大值标记幻觉对象、用期望在模型自身指向失败时定位、用最高质量区域裁剪修正约一半错误答案。