看图不等于会推理:TIGER只用合成渲染图训练,Qwen3-VL-8B在MathVerse从54.5升到65.8
核心概要
多模态大模型能准确读出图中的文字,却常常无法像读纯文本那样对同一道题推理,这种落差被称为模态推理接入差距。TIGER把纯文本数学题渲染成图片,筛出模型读文本答对、看图片答错的样本,再用图像条件下的GRPO等目标做后训练。只用合成渲染图训练,Qwen3-VL-8B在MathVerse上从54.5升到65.8,Qwen2.5-VL-7B在MathVerse上从43.9升到47.5、在EMMA上从22.2升到25.7。
深度剖析
多模态大模型在语义相同的题目上,读文本的准确率高于读渲染成图片的版本,这一落差不能只归因于识别失败。 此前主流解释把多模态推理失败主要归为感知问题,认为只要正确提取视觉内容就能像文本一样推理。 在MATH-500及其黑字白底渲染版本MATH-500-I上,图像输入平均使准确率下降7.2个百分点,Qwen2.5-VL-3B降幅最大;在图像预测错误的答案中,92.36%发生在题目文字已被正确提取的情况下。
TIGER把模型自身“文本答对、图像答错”的样本转成训练信号,让图像输入接入已有的推理能力。 训练数据不需要人工标注的图像-文本推理对,只从带可验证答案的纯文本数学题出发。 从OpenR1-Math-220中筛出约4.5万道可解题目,再按模型逐题筛选,各骨干得到的训练集规模为1586至4043条;在MATH-500-I、BBH-I以及MathVista、MathVerse、MathVision、EMMA等未参与训练的真实基准上评估。
在筛出的样本上做图像条件下的GRPO,是各变体中提升最稳定的一种,并能与已有RLVR视觉推理方法叠加。 同一批样本上的SFT和DPO变体在合成设置上常有提升,但在真实多模态基准上并不稳定,例如Qwen3-VL-8B的SFT和DPO提升了MathVerse,却在MathVision和EMMA上下降。 Qwen2.5-VL-7B在MathVerse上从43.9升到47.5、在EMMA上从22.2升到25.7,Qwen3-VL-8B在MathVerse上从54.5升到65.8;在MMStar、MMMU、ChartQAPro、RoboSpatial-Home上平均提升0.9至2.3分,对八个真实基准的模型-数据集配对做单侧Wilcoxon符号秩检验得到p值为4e-7。
启示与展望
已展示的范围是:训练数据全部来自OpenR1-Math-220的纯文本数学题及其合成渲染图,评估覆盖MATH-500-I、BBH-I等合成基准和MathVista、MathVerse、MathVision、EMMA、MMStar、MMMU、ChartQAPro、RoboSpatial-Home等真实基准,涉及InternVL3.5-1B、Qwen2.5-VL-3B、Qwen2.5-VL-7B、Qwen3-VL-8B以及LLaVA-OneVision-1.5-4B等骨干。作者提出后续将把该框架扩展到真实世界多模态任务,并研究更紧密耦合视觉编码与推理过程的机制。
作者指出方法受源文本语料的领域覆盖限制,合成图像的构造可能低估真实场景视觉的歧义性;推理子空间分析给出的是与文本侧推理相关的经验子空间,而非对推理机制的因果识别。
