视觉头发现分数换了读注意力的位置：必要性跟着查询跨度走，默认强度的可操控性随机头也能达到
核心概要
视觉语言模型里用来定位“看图”注意力头的发现分数，其内部选择会明显改变选出的头。研究在Qwen3-VL-8B-Instruct上完整交叉查询类型、发现语料与读取注意力的token位置，并用可操控性与必要性两种干预检验全部12组头集。结果只有必要性随注意力来源变化：查询跨度头集比末token头集更必要，两个指代加查询跨度头集高出250组同层随机头集17–19个标准差；而在默认强度下，没有任何发现头集的可操控性超过同层随机头集。
深度剖析
同一套注意力打分流程，只要改变读取注意力的token位置或提问方式，选出的“视觉头”就会大幅换人，而换语料的影响最小。 此前视觉头、注视头与视觉检索头各自用一套固定设置报告结果，彼此之间无法直接比较，也没有人系统变动过发现分数内部的选择。 在Qwen3-VL-8B-Instruct上，同一发现数据的两半随机划分共享96–99个前100头；只换注意力来源时前100头中位保留49个，换查询类型保留55个，换语料保留84个。
头集是否被模型真正需要，取决于注意力从哪里读，而不是取决于提问措辞。 此前两类已发表验证各用一次随机抽样作对照，无法判断发现头集落在随机分布中的什么位置。 四个查询跨度头集在两种语料上必要性分数区间都高于零并胜过全部20组同层随机头集，末token头集无一做到；两个指代加查询跨度头集高出250组随机头集17–19个标准差，并通过Holm校正，该效应在Qwen3-VL-4B与Qwen2-VL-7B上复现。
在默认干预强度下，可操控性并不能把发现头集与随机头集区分开。 此前工作用单次随机抽样作为基线，而单次抽样只是整个随机分布中的一个样本。 没有任何发现头集的可操控性超过其同层随机头集，同层或任意层的随机头集覆盖了发现头集的分数范围，单次随机抽样在层匹配下跨度很大。
必要性效应来自问题与选项所在的注意力行，而不是图像行或最后一个提示token。 此前掩蔽验证通常整体屏蔽头集对图像的注意力，未区分是哪一组注意力行在起作用。 只掩蔽问题与选项行时，指代加查询跨度头集的必要性分数与掩蔽全部行相当，而只掩蔽图像行或最后一行时分数落在零附近。
启示与展望
结论建立在Qwen3-VL-8B-Instruct的12组设置上，另有Qwen3-VL-4B与Qwen2-VL-7B的第二模型检查、五个进一步模型的域外结果以及八个模型的指向套件结果。可操控性在先前工作使用的默认强度下评估，掩蔽采用注意力敲除形式。读者若要把这套对照用于自己的模型，需要按同样的层匹配与多次随机抽样方式重做基线。
可操控性只在默认强度下评估，作者报告的一个更弱强度试点提示若干发现头集在该强度下可能与随机头集分开，但该试点每组仅5组随机对照，尚不足以确立特异性。掩蔽采用注意力敲除，均值或重采样消融与激活修补是自然的扩展。域外与跨模型比较每组头集只用一次随机抽样。图像注意力质量在通用图像提示上测量，随机头集覆盖的质量范围比发现头集更窄。