# 对数几率透镜

在五个视觉任务上，把带答案的示例放进上下文后，与训练先验冲突的反事实样本准确率大幅上升，而与先验一致的样本几乎不变，说明模型本就有这些视觉能力，只是被学到的统计规律压住了。

在五个视觉任务上，把带答案的示例放进上下文后，与训练先验冲突的反事实样本准确率大幅上升，而与先验一致的样本几乎不变，说明模型本就有这些视觉能力，只是被学到的统计规律压住了。

作者在 Qwen2.5-VL-7B-Instruct 上用两阶段 PGD 攻击 200 张留出 COCO 图像，发现定向扰动可把固定目标描述的教师强制训练损失压到接近零，但自由生成仍输出原本正确的描述，并将这一“训练/推理鸿沟”定位到单个自回归步（目标 token 排名恒为 152,064 词表中的第 3,488 位、零方差），进一步追踪 28 层解码器显示视觉编码器对所有图像造成相近程度的表示破坏，而语言解码器对易感图像放大、对抵抗图像主动抑制该信号（p<0.001，rank-biserial r=0.579）。

作者在 Qwen2.5-VL-7B-Instruct 上用两阶段 PGD 攻击 200 张留出 COCO 图像，发现定向扰动可把固定目标描述的教师强制训练损失压到接近零，但自由生成仍输出原本正确的描述，并将这一“训练/推理鸿沟”定位到单个自回归步（目标 token 排名恒为 152,064 词表中的第 3,488 位、零方差），进一步追踪 28 层解码器显示视觉编码器对所有图像造成相近程度的表示破坏，而语言解码器对易感图像放大、对抵抗图像主动抑制该信号（p<0.001，rank-biserial r=0.579）。

该研究在四个视觉语言模型（Qwen3-VL-2B、Qwen3-VL-8B、Molmo2-7B、Llava-Next-34B）中定位出对OCR因果必要的注意力头，发现它们其实是通用的“言语化头”，把这些头的输出-值（OV）矩阵求和构成一个“言语化透镜”后，可在任意层（包括第0层）把图像token的隐藏状态解码为可解释的语义词，并可用其伪逆构造概念向量来编辑图像表征（如把“拖拉机”替换为“左轮手枪”），从而为“图像表征在早期层就与语言空间对齐”提供了证据。

该研究在四个视觉语言模型（Qwen3-VL-2B、Qwen3-VL-8B、Molmo2-7B、Llava-Next-34B）中定位出对OCR因果必要的注意力头，发现它们其实是通用的“言语化头”，把这些头的输出-值（OV）矩阵求和构成一个“言语化透镜”后，可在任意层（包括第0层）把图像token的隐藏状态解码为可解释的语义词，并可用其伪逆构造概念向量来编辑图像表征（如把“拖拉机”替换为“左轮手枪”），从而为“图像表征在早期层就与语言空间对齐”提供了证据。