跳到主要内容
检索

# 潜在视觉推理

5 篇关联报道

订阅更新
  1. arXiv

    视觉隐状态原来只是摆设:AnchorSim让扰动真正改变答案,九个基准平均62.4

    交错式多模态推理让模型在文字之间插入连续视觉隐状态块,但直接扰动实验显示,删掉、替换或打乱这些块几乎不影响模型自己给出答案的概率,而对文字推理段做同样扰动则明显更伤。作者把这种“看起来在脑内模拟、实际靠文字作答”的现象称为心智模拟塌缩,并提出AnchorSim:训练时对比有视觉通路与遮蔽视觉通路的两次预测,迫使隐状态承载答案相关信息。以Qwen2.5-VL-7B为基座,AnchorSim-7B在九个视觉推理基准上平均得分62.4,比基座高13.5分,且视觉扰动重新变得有影响。

  2. arXiv

    SLR 用指尖射线状态加奇偶池化视觉目标监督连续隐推理,在 EgoPoint-Ground 上把同骨干 SFT 的 mIoU 最高提升 21.1 个百分点

    该工作提出空间隐推理(SLR),把指向手势的几何线索与目标区域外观组织成有序的连续隐状态:一个由指尖位置和指向方向监督的空间射线状态,后接四个与目标区域特征对齐的视觉状态,视觉目标用奇偶池化按行列奇偶把 ROI 词元分成四组取均值;在 EgoPoint-Ground 上相对同骨干监督微调,mIoU 在 Qwen3.5-4B、Qwen2.5-VL-7B、Qwen3-VL-8B 上分别提升 2.8、17.5、21.1 个百分点,两个困难子集均有提升,YouRefIt 上 IoU 0.5 精度达 77.6%。

  3. arXiv

    ReLaViS 用单轮循环隐式视觉搜索把 ScreenSpot-Pro 定位准确率提升 3.1 个百分点至 56.3%

    该工作提出 ReLaViS,把 GUI 定位表述为单次模型交互内的循环隐式视觉搜索:每步由空间搜索头用隐藏状态查询截图的视觉 token 生成空间搜索分布,再据此聚合视觉 token 得到隐式视觉证据并回灌为下一步输入嵌入,同时用扁平元素标注构造 GUI 感知的由粗到细轨迹进行监督;基于 Qwen2.5-VL-7B,它在五个基准上均优于匹配的单步基线,ScreenSpot-Pro 准确率从 53.2% 提升到 56.3%,推理 FLOPs 仅增加 3.5%。

  4. arXiv

    ReaLVR 用视觉证据监督潜空间推理,在 Qwen2.5-VL-7B 上取得 63.7% 五任务均值并把潜空间视觉推理扩展到 235B

    该工作先分析潜视觉推理(LVR)中潜 token 的行为,指出存在“潜证据—信用缺口”——潜 token 对改变正确答案的图像扰动反应很弱,并认为这源于 GRPO 训练缺少显式监督;为此提出 ReaLVR,在模型自身自由运行的潜轨迹上引入视觉证据监督,用正确与错误答案的对比决定哪些位置需要更强监督、用相关与不匹配视觉证据的对比决定应保留什么,在三个模型家族上一致优于所评估的 LVR 基线,Qwen2.5-VL-7B 上五任务平均达 63.7%,并首次把潜空间视觉推理扩展到 235B 参数规模。

  5. arXiv

    Scaffolding Minds 用可学习脚手架编码器与自适应高斯采样器改造潜空间视觉推理,FrozenLake 平均提升 9.5 分、九项视觉推理基准平均提升 5.6 分

    该工作提出 Scaffolding Minds 两阶段框架:第一阶段用可端到端训练、经下游任务损失优化的脚手架编码器替代冻结通用视觉编码器来生成潜空间目标,第二阶段用均值与方差均可学习的高斯采样器在潜空间采样残差动作以支持强化学习探索,在 FrozenLake 空间规划上较最强潜推理基线平均提升 9.5 分(Level 32 上提升 19 分),在九个视觉中心推理基准上平均提升 5.6 分。

已读完全部报道