多模态旋转位置编码被拆开检验：文本与图像之间的空间偏置几乎不帮忙，去掉后定位反而更准
核心概要
视觉语言模型常用的多模态旋转位置编码（MRoPE）给没有空间结构的文本也分配了高、宽坐标，使文本与图像块之间的注意力带上位置偏好。研究把图像内部的空间编码与跨模态空间效应分开控制，在官方预训练检查点上做免训练探测，并在2B、4B两个规模上从相同初始参数出发做控制训练。结果显示跨模态空间效应作为空间参照几乎没有额外收益，甚至可能损害性能，而图像内部的空间编码对细粒度定位仍然有用。
深度剖析
视觉语言模型里，文本与图像块之间的空间位置偏好可以被单独关掉，而图像块彼此之间的二维空间编码保持不变。 此前的多模态旋转位置编码变体共用一套坐标布局，文本坐标与视觉坐标绑在同一空间里，跨模态空间效应和图像内部空间编码无法分别控制。 在官方发布的Qwen3-VL-2B、4B、8B检查点上只改推理时的坐标分配、不更新参数，去掉文本-视觉空间效应后通用基准总体变化最多0.4%；相反，去掉图像内部空间编码使定位指标ACC@0.5在2B、4B、8B上分别从82.4%、87.1%、86.1%降到18.5%、16.3%、5.3%。
做法是给每个图像块准备两套坐标，一套保留原来的高、宽位置，另一套把所有图像块放到文本坐标所在的轨迹上。 这套按注意力类型分别指定坐标的方式，让文本-视觉注意力和视觉-视觉注意力各自选用原始或中性坐标，从而组合出四种可对照的配置。 在Qwen3-VL-2B和4B上从相同初始参数出发、用相同数据与优化设置训练四种配置，采用MRoPE-I时去掉文本-视觉空间效应使平均空间理解提升1.2%和1.3%，定位ACC@0.9提升1.2%和1.2%。
这一趋势在VideoRoPE、HoPE和IL-RoPE等不同坐标布局与频率分配下同样出现。 此前的对照只在MRoPE-I上建立，无法判断结果是否来自某一种位置设计。 在Qwen3-VL-2B和4B上，去掉文本-视觉空间效应使VideoRoPE的ACC@0.9提升2.8%和1.4%，使HoPE提升9.1%和7.3%；四种模型与变体组合平均带来5.2%的ACC@0.9增益，而保留图像内部空间编码的对应增益为2.8%。
启示与展望
已展示的范围是Qwen3-VL-2B、4B、8B上的免训练探测，以及Qwen3-VL-2B和4B上从相同初始参数出发的控制训练，覆盖MRoPE-I、VideoRoPE、HoPE和IL-RoPE等变体与通用、空间理解、指代表达定位基准。
这些发现是否适用于大规模视觉语言模型所用的更大训练规模，仍有待研究；预训练模型在训练中一直带着这些位置偏好，可能已经学会适应它们的影响。