视觉语言模型答错三腿孔雀，不是看不见：给几个示例，注意力就从类别先验移向可见证据

视觉语言模型在图像违背训练中常见规律时会答错，例如看到三条腿的孔雀仍回答两条腿；这类错误可以在推理阶段通过上下文示例纠正，而不必改动模型结构或重新训练。 此前多数补救办法把这类失败当作模型缺少视觉能力，转而修改注意力、训练流程或输入预处理；也有工作报告视觉上下文学习收益有限。 在区分先验一致与先验冲突样本的受控基准上，Qwen3-VL 235B 在 16 个示例下把反事实样本准确率提高约 30 个百分点，而先验一致样本几乎不变；32B 呈现同样的不对称。

示例之所以有效，是因为它把答案生成所依赖的视觉证据从支持先验的图像标记转向支持当前图像的标记。 研究用 logit lens 与 LatentLens 给图像标记赋予近似语义标签，把解码为“孔雀”的标记记为先验线索、解码为可见腿的标记记为接地线索，两组标记互不重叠。 在 Qwen3-VL 4B 与 32B、Gemma-4 E4B 与 31B 上，加入示例后答案标记对先验线索的注意力下降、对接地线索的注意力上升；屏蔽先验线索的消融在五个任务上都优于等量随机屏蔽。

上下文示例能重新选中已被先验压住的可靠能力，却不能让本身不可靠的能力变稳。 如果先验冲突是唯一障碍，示例应在各腿数上均匀起效；实际在 4 条和 5 条腿的计数上收益更小。 在 450 张合成二维图形计数图上，每个数量 8 到 16 各 50 例，示例带来的收益随数量波动，10 和 15 甚至低于零样本。

这套诊断面向研究视觉语言模型接地行为的研究者与评测设计者，在五个闭标签视觉任务上验证：计数、颜色识别、形状识别、物体朝向和空间关系，覆盖 Qwen3-VL、Qwen2.5-VL、Qwen3.5、InternVL3.5 与 Gemma-4 五个家族。复杂设置共 1160 例，其中真实 650 例、反事实 510 例，另有每任务约 400 例的扩展版本。作者指出，上下文学习是免训练但非免算力的适配路径，32 个交错多模态示例占用大量上下文、增加内存与延迟，实际持续适配系统需要精选示例、压缩或缓存视觉上下文，或把成功上下文蒸馏进模型权重。

作者报告，当底层视觉能力本身薄弱或缺失时，上下文学习的作用有限；高基数计数即使去掉动物身份与生物先验，示例收益仍随数量波动，10 和 15 甚至低于零样本。物体朝向与空间关系没有单一先验答案，机制分析用标题中的物体名作为代理线索，证据不如计数、颜色和形状直接。物体朝向的真实与反事实子集使用不相交的标签，因此该任务被解释为稀有朝向压力测试，而非完全标签匹配的对照。