视觉推理不再回归坐标:探针令牌在视觉词元上采样证据,4K基准准确率78.0%且推理词元约为对照的1.2%
核心概要
TiCO把“看图思考”中的坐标回归换成探针令牌在视觉词元上的相似度采样,在HR-Bench 4K上取得78.0%总体准确率,同时每查询只生成6.2个词元。
深度剖析
多模态大模型做高分辨率视觉推理时,不再需要先输出边界框坐标再裁剪图像,而是直接在一组视觉词元里挑出与问题相关的证据区域。 此前的“看图思考”方法依赖显式坐标预测来定位感兴趣区域,模型先回归数值坐标,再以裁剪区域为条件继续推理。 在HR-Bench 4K上,这一做法取得78.0%总体准确率,高于Mini-o3报告的77.5%、DeepEyes的75.1%和TreeVGR的77.1%;在HR-Bench 8K上为76.3%,高于Mini-o3的73.3%和DeepEyes的72.6%。
模型被提示输出一个特殊的探针令牌,用它的隐状态与每个视觉词元算相似度,得到一张覆盖全图的相似度分布图。 方法名为TiCO,即无坐标的看图思考;它把证据发现表述为相似度诱导的区域采样,而不是数值边界框回归。 在V* Bench、HR-Bench 4K/8K、VisualProbe、MME-RealWorld和POPE上做了评测,其中MME-RealWorld为66.9%、POPE总体为89.1%,训练基于Qwen-2.5-VL-7B-Instruct。
相似度图先按阈值二值化,再按空间相邻关系聚成连通区域,每个区域按累计注意力质量归一化成概率,然后做重要性采样。 与确定性地取分数最高的区域不同,重要性采样保留了对语义合理区域的随机探索,避免过早锁定到可能含噪的峰值。 在相同训练与采样设置下,重要性采样在V* Bench上为90.6%、HR-Bench 8K上为76.3%,高于最高分采样、随机采样和逐词元采样三种替代方案。
启示与展望
报道覆盖的是TiCO在V* Bench、HR-Bench 4K/8K、VisualProbe、MME-RealWorld和POPE上的评测结果,以及基于Qwen-2.5-VL-7B-Instruct的训练与消融设置。适合关注多模态推理、视觉定位与推理效率的研究人员和工程师阅读。原文没有给出下一步实验计划。
方法仍依赖阈值二值化,阈值需要人工选择;它不采用显式的多步“思考”过程,因而缺少迭代修正或反思式行为,在需要复杂 deliberation 或多跳反思的任务上适应性可能受限。高分辨率推理对定位质量敏感,若选中的子区域没有覆盖语义相关证据,后续推理可能难以恢复正确答案。在V* Bench上属性子集与总体分数略低于TreeVGR,作者将其归因于语义证据聚合可能过滤掉细粒度局部纹理。
