多模态训练改写纯文本推理：抽掉一条视觉—语言方向，空间题掉分而逻辑题不动
核心概要
多模态训练是否改变了模型在纯文本输入下的推理方式，此前只有行为层面的证据。研究在6个模型家族、10种多模态配置上构造视觉—语言方向，并在推理时移除隐藏状态在该方向上的投影；Chameleon-7B在BBH导航任务上掉分，而布尔表达式基本不受影响，形成双重分离。效应具有方向特异性和层局部性，并延伸到心理旋转、折纸、视角采择等心理模拟任务。
深度剖析
多模态训练不只改变模型处理图像的方式，也改变了它在只读文字时内部走哪条表征通路。 此前关于多模态训练影响纯文本推理的证据停留在行为层面，或局限于合成任务的中等规模设置，没有检验视觉—空间结构是否在无图像输入时被因果调用。 在9个视觉—语言轴为阳性的配置上，移除该轴后空间想象类任务受损而符号操作类对照基本保留；Chameleon-7B在BBH导航任务上掉分，布尔表达式几乎不变，构成双重分离。
这条方向不是随便一个扰动就能替代的，它对应模型内部一处具体的计算位置。 若效应只是移除隐藏状态能量造成的普遍损伤，任意同能量方向都应产生类似后果。 在Chameleon-7B的L0–7层块上，能量匹配的随机方向给出的双重分离差远小于视觉—语言轴；效应在少数层内达到峰值，且与各架构视觉信息进入语言主干的位置对应。
在同时具备理解与生成两条通路的统一模型中，可干预的空间载体集中在生成通路上。 理解通路同样含有空间信息，但此前不清楚它是否构成可选择性干预的因果手柄。 BAGEL的生成通路一维轴给出空间与对照的双重分离，理解通路的一维轴接近零；在27项任务套件上，Janus-Pro独立复现了导航任务大幅下降而布尔表达式几乎不变的模式。
启示与展望
结论建立在10种多模态配置和线性或低秩干预之上，任务集为BBH、bAbI、SpartQA、StepGame、心理模拟组和受控视觉—空间组，属于诊断性而非完整分类。心理模拟证据只在通过能力下限的Qwen3-VL配置上可测，Chameleon-7B在这些任务上处于或低于随机水平。
载体是空间集中而非空间专属：8至12步的长程非空间状态跟踪与同一载体存在部分重叠。分析可能遗漏非线性、高度分布式或跨注意力特有的机制，Qwen系列的归因仍受预训练数据公开程度限制。干预检验的是必要性，不能说明模型是否构造了图像式场景，也未定位写入和读取该信号的回路。