选对图像也挡不住干扰：Qwen2.5-VL在五张干扰图下靠答案一致性正则把圆形准确率提高16个百分点
核心概要
视觉语言模型在目标图像旁混入无关图像时准确率明显下降，即使提示直接点名目标图像，干扰仍会通过中间层“干扰图到文本”的连接影响推理。研究在Qwen2.5-VL上以单图预测为参照，用答案一致性正则对齐有干扰与无干扰时的答案分布，在五个感知基准、五张干扰图条件下把圆形准确率平均提高16个百分点，同时保持单图性能。
深度剖析
无关图像造成的准确率损失不能全部归因于选错图像：即使提示中直接点名目标图像，干扰仍会拉低答题准确率。 此前的缓解思路集中在先筛选相关图像或限制图像之间的信息交换，默认选对图像就能消除干扰。 在三个7–8B开源视觉语言模型和五个加入干扰图的感知基准上，五张干扰图时点名目标图像没有挽回圆形准确率的任何下降；跨三个模型与五个基准平均，平均旋转准确率在真实干扰图下下降13.3个百分点，换成同尺寸纯黑图后只下降3.2个百分点。
干扰信息主要通过中间层从干扰图像流入文本表示，而不是只经由图像之间的连接。 限制图像间注意力的掩码没有封住问题词元对干扰图像的注意力，因此残留干扰仍有通路。 在Qwen2.5-VL第9–17层切断干扰图到文本的连接，恢复了47%的受干扰失败样本，只破坏5%原本正确的样本；同样层段做图像间掩码只恢复10%，却破坏57%的正确输出。
以无干扰单图预测为参照的答案一致性正则，在不直接约束注意力的前提下提升了抗干扰准确率。 硬性切断通路需要测试时知道哪些图是干扰图，训练目标则不需要这一标签。 在Qwen2.5-VL-7B-Instruct上用LoRA微调，五张干扰图时池化圆形准确率为69.6%，基础模型为59.3%，仅用交叉熵的对照为66.6%；点名目标图像时，各干扰数量下仍提高15.4–16.8个百分点。
启示与展望
实验限定在单目标图像加随机采样干扰图的设定：五个感知基准共9,052道题，三个7–8B开源模型用于行为分析，机制敲除与微调只在Qwen2.5-VL-7B-Instruct上完成，微调数据来自与评测基准不同领域的FineVision。
评估使用的是随机采样干扰图，特定干扰属性如何影响鲁棒性仍未确定；作者提出需要用结构化空间干扰图区分感知混淆与空间推理失败，并把框架扩展到视频以检验动态干扰下的表现。