Mi Luo

交错式多模态推理让模型在文字之间插入连续视觉隐状态块，但直接扰动实验显示，删掉、替换或打乱这些块几乎不影响模型自己给出答案的概率，而对文字推理段做同样扰动则明显更伤。作者把这种“看起来在脑内模拟、实际靠文字作答”的现象称为心智模拟塌缩，并提出AnchorSim：训练时对比有视觉通路与遮蔽视觉通路的两次预测，迫使隐状态承载答案相关信息。以Qwen2.5-VL-7B为基座，AnchorSim-7B在九个视觉推理基准上平均得分62.4，比基座高13.5分，且视觉扰动重新变得有影响。

交错式多模态推理让模型在文字之间插入连续视觉隐状态块，但直接扰动实验显示，删掉、替换或打乱这些块几乎不影响模型自己给出答案的概率，而对文字推理段做同样扰动则明显更伤。作者把这种“看起来在脑内模拟、实际靠文字作答”的现象称为心智模拟塌缩，并提出AnchorSim：训练时对比有视觉通路与遮蔽视觉通路的两次预测，迫使隐状态承载答案相关信息。以Qwen2.5-VL-7B为基座，AnchorSim-7B在九个视觉推理基准上平均得分62.4，比基座高13.5分，且视觉扰动重新变得有影响。