视觉隐状态原来只是摆设：AnchorSim让扰动真正改变答案，九个基准平均62.4
核心概要
交错式多模态推理让模型在文字之间插入连续视觉隐状态块，但直接扰动实验显示，删掉、替换或打乱这些块几乎不影响模型自己给出答案的概率，而对文字推理段做同样扰动则明显更伤。作者把这种“看起来在脑内模拟、实际靠文字作答”的现象称为心智模拟塌缩，并提出AnchorSim：训练时对比有视觉通路与遮蔽视觉通路的两次预测，迫使隐状态承载答案相关信息。以Qwen2.5-VL-7B为基座，AnchorSim-7B在九个视觉推理基准上平均得分62.4，比基座高13.5分，且视觉扰动重新变得有影响。
深度剖析
交错式多模态推理模型生成的视觉隐状态块，对模型自身最终答案的贡献远小于夹在中间的文字推理段。 这类架构原本假设连续视觉隐状态块可以充当模型在推理中反复查看的内部视觉工作区，从而不必把视觉信息全部压进文字。 对Mirage-7B、SkiLa-7B、CoVT-7B和Monet-7B四个模型分别在其对应基准上做扰动打分，删除、跨样本替换或打乱视觉块后答案对数概率仍接近未扰动参照，而对文字推理块做同类扰动时下降更明显。
AnchorSim把“视觉通路是否被使用”变成训练目标，使生成的视觉隐状态块重新影响预测。 此前的两阶段训练只用文字似然监督，视觉对齐只约束隐状态长得像辅助图像嵌入，并不要求解码器依赖它。 训练时对同一步分别以完整上下文和遮蔽全部先前视觉隐状态的上下文计算下一词分布，用Jensen–Shannon散度惩罚两者一致，并对遮蔽分支停梯度，同时从权重为学生指数移动平均、且提示中带正确答案的教师处蒸馏推理文本。
在九个公开视觉推理基准上，AnchorSim-7B取得62.4的平均分，位列所比较模型之首。 其基座Qwen2.5-VL-7B平均48.9，仅做交错式第一阶段训练的版本平均59.7。 AnchorSim-7B在除BLINK和V*之外的基准上排名第一，在这两项上排名第二；闭环扰动中，扰动视觉隐状态使答案翻转的比例为一定区间并伴随准确率下降，而仅做交错训练的基线在视觉扰动下几乎不翻转。
启示与展望
演示范围是7B规模的Qwen2.5-VL类多模态模型在九个公开视觉推理基准上的表现，以及在这些设定下对视觉与文字通路的扰动复评；作者提出后续应检验更大模型规模和真实世界多模态决策场景。
作者指出AnchorSim主要在7B规模与基准式任务上评测，向更大模型和真实决策场景的可扩展性尚未检验；视觉隐状态的内容被操作性地定义为与答案相关、以图像为条件的信息，并不要求单个隐状态 token 对应图像裁剪或可直接解码。