选对图像也挡不住干扰:Qwen2.5-VL在五张干扰图下靠答案一致性正则把圆形准确率提高16个百分点
视觉语言模型在目标图像旁混入无关图像时准确率明显下降,即使提示直接点名目标图像,干扰仍会通过中间层“干扰图到文本”的连接影响推理。研究在Qwen2.5-VL上以单图预测为参照,用答案一致性正则对齐有干扰与无干扰时的答案分布,在五个感知基准、五张干扰图条件下把圆形准确率平均提高16个百分点,同时保持单图性能。
视觉语言模型在目标图像旁混入无关图像时准确率明显下降,即使提示直接点名目标图像,干扰仍会通过中间层“干扰图到文本”的连接影响推理。研究在Qwen2.5-VL上以单图预测为参照,用答案一致性正则对齐有干扰与无干扰时的答案分布,在五个感知基准、五张干扰图条件下把圆形准确率平均提高16个百分点,同时保持单图性能。
已读完全部报道