视觉干预并非越深越好:等强度编辑在解码中段失去杠杆,按题型校准后再用才把属性准确率提上去
核心概要
同一处视觉残差编辑在解码器逐层施加、强度对齐后,效果在某一层之后持续下降,这个下降点被称为证据锚定边界;据此按题型校准的选择性路由在三个检查点上把全属性集准确率提高,而全量相减则中性或有害。
深度剖析
视觉干预的效果随解码深度变化,存在一个效果持续走低的区段,其起点被命名为证据锚定边界(EAB,即该编辑对最终答案影响力开始明显衰减的层位置)。 此前的工作多从注意力图或中间状态定位有希望的干预层,但定位到一个可读的层并不等于该层上的编辑仍能改变最终答案。 在三个模型家族共六个检查点上,对同一视觉残差编辑逐层施加并把每次编辑的均方根强度对齐,冻结在标定查询上选出的边界后,在完全不相交的评测查询上边界之前的效果大于边界之后的效果,每个图像簇置信区间都不包含一。
答案偏好的稳定与视觉编辑的有效性不是同一件事:模型在编辑已基本失效之后仍在继续形成答案偏好。 一种自然的解释是效果下降只是因为答案已经定型,但中间读出显示并非如此。 把EAB与答案承诺点(ACP,即解码出的答案符号与候选排序开始与最终预测保持一致的层)比较,读出在EAB之后仍可继续改善;在每模型96组受控三元组审计中,该窗口编辑只纠正了LLaVA-7B的两个基线错误,其余三个检查点为零。
反事实相减是否有益取决于它移除的是哪一种偏好,同一操作在不同题型上可以是纠正、冗余或破坏。 相减此前常被当作普遍适用的修正手段,而全量相减在完整属性集上中性或有害。 在反事实偏好指向错误候选的AMBER困难属性子集上,相减在LLaVA-7B、LLaVA-13B和InternVL上分别把配对准确率提高;但在完整属性集上变化为中性或负向,直接接触关系上两个LLaVA检查点也出现下降。
按题型校准的选择性路由默认保留原始预测,只在标定支持时才施加干预,从而把相减的收益集中到可用之处。 全量相减在三个检查点上对完整属性集准确率的变化为中性或有害,而路由在同一批图像上取得提升。 路由在LLaVA-7B、LLaVA-13B和InternVL三个检查点上提高完整属性集准确率,三个增益的图像簇置信区间都在零以上;规则由五折图像不相交交叉验证选出,每张图像由未见过它的规则打分。
启示与展望
报告面向研究多模态大模型幻觉修正的研究人员与工程师,覆盖LLaVA-1.5-7B/13B、Qwen2.5-VL-7B、InternVL3.5-8B四个基础检查点,并在LLaVA-NeXT-34B与Qwen2.5-VL-32B上复现深度趋势。EAB描述的是所测试的视觉残差编辑在给定检查点上的效果轨迹,标定与评测使用不相交图像,边界在标定后冻结再评测。路由增益主要建立在二值属性声明上,作者提出在施加视觉修正前先测量所选算子在目标深度的影响力,再在目标任务上评估由此产生的决策。
边界位置由一条操作规则给出,48例标定与72例评测的划分支持所报告的效果对比,但作者指出需要更大、更多样的样本来估计边界位置在不同设定下的泛化精度。数值结果覆盖一条边界规则和一个主要Q1算子,新模型、提示、算子或任务类别都需要重新标定。PEC只在经过标定的POPE对抗设定中使用,冻结配置迁移到TextVQA与MME时出现下降。额外的反事实前向带来计算开销,墙钟延迟与浮点运算开销尚未测量。
