跳到主要内容
检索

# 视觉推理

12 篇关联报道

订阅更新
  1. arXiv

    看图不等于会推理:TIGER只用合成渲染图训练,Qwen3-VL-8B在MathVerse从54.5升到65.8

    多模态大模型能准确读出图中的文字,却常常无法像读纯文本那样对同一道题推理,这种落差被称为模态推理接入差距。TIGER把纯文本数学题渲染成图片,筛出模型读文本答对、看图片答错的样本,再用图像条件下的GRPO等目标做后训练。只用合成渲染图训练,Qwen3-VL-8B在MathVerse上从54.5升到65.8,Qwen2.5-VL-7B在MathVerse上从43.9升到47.5、在EMMA上从22.2升到25.7。

  2. OpenAI News

    OpenAI发布GPT-6.1 Terra:标准API价格降一半,终端编程任务解出率翻倍

    OpenAI发布GPT-6.1 Terra,一款把视觉推理与计算机操作结合起来、并主打速度与成本的模型,标准API价格比GPT-5.6 Terra和GPT-6.1 Sol低50%。在Agents' Last Exam上,中等推理强度下它比GPT-5.6 Terra高15个百分点而成本约为三分之一;在Terminal-Bench 4.0上,最大推理强度下解出50.3%的任务,超过GPT-5.6 Terra已公布的21.5%。OpenAI同时说明,最复杂的编程任务仍更适合交给GPT-6.1 Sol和GPT-6 Astra。

  3. arXiv

    视觉推理不再每次重写程序:把可执行技能存下来,适用输入直接给答案

    VisualCoding把可复用的视觉程序先训练成家族级求解器,遇到适用输入直接返回其有效答案,在四个基准、69个任务家族上平均准确率比最强基线高4.45个百分点。

  4. Vercel News

    视觉模型学会回头看证据:Glimpse 能放大细节、重看视频片段,也能跨帧追踪同一特征

    Elorian 的视觉推理模型 Glimpse 已上线 AI Gateway,可接收图像与视频,用于跟踪运动中的物体、判断空间关系并把动作与其物理后果联系起来。它在推理过程中能回到视觉证据本身:放大某个细节、重看一小段视频,或跨帧追踪同一特征,从而支撑科学图表分析、视频描述、视觉计数和机器人数据标注等用途。

  5. arXiv

    视觉推理不再回归坐标:探针令牌在视觉词元上采样证据,4K基准准确率78.0%且推理词元约为对照的1.2%

    TiCO把“看图思考”中的坐标回归换成探针令牌在视觉词元上的相似度采样,在HR-Bench 4K上取得78.0%总体准确率,同时每查询只生成6.2个词元。

  6. arXiv

    推理能力不必整段搬运:只留RL更新最强方向,Qwen视觉数学涨8.55分

    把语言模型强化学习阶段的参数更新单独取出,只保留每个矩阵中最强的一个方向并按原幅度缩放,再注入视觉语言模型的语言模块,这种免训练迁移在三个模型家族、五个视觉推理基准的15组比较中有12组优于整段更新插值,Qwen接收方在MathVision上提升8.55个百分点。对照实验显示,仅匹配更新幅度或使用任意低秩方向都无法复现这一增益,说明后训练中获得的能力与可跨模型迁移的部分并不等同。

  7. arXiv

    Flow-of-Thought 用轨迹流场生成中间视觉草图,在 Tetris 达 100%、彩色形状达 99%,并在 BLINK 多视角上以 72.2% 超过端点基线 63.9%

    该工作提出 Flow-of-Thought(FoT)框架,用流匹配在旋转轨道与迷宫最短路径前缀上训练坐标、时间与动作条件的空间 U-Net,学习连续视觉动力学并冻结;推理时以源图与其水平镜像作为竞争假设,按前景加权重建能量选择答案。在锁定测试上 Tetris 达 100.0%、彩色形状达 99.0%,迷宫端点 IoU 97.5%、目标到达率 100%;冻结迁移到 BLINK 多视角 133 对公开验证集时,轨道训练流达 72.2%,高于仅端点对照的 63.9%。

  8. arXiv

    FastRL 以优势感知剪枝与自适应采样为 GRPO 类方法带来约 2.07 倍训练加速并提升约 1.64% 平均准确率

    该工作提出 FastRL,一个可即插即用的强化学习框架,通过优势感知剪枝策略选择性保留高优势轨迹并最大化轨迹间梯度多样性,以及基于历史剪枝分布动态调整采样规模的自适应 rollout 采样机制,在 Geometry3K 与 GeoQA8K-R1V 上实现平均 2.07 倍训练加速,并在视觉推理基准上取得约 1.64% 的平均准确率提升,且可无缝集成到 GRPO、DAPO 与 GSPO 变体中。

  9. arXiv

    Where-OPD 用程序生成场景的空间提示做在线自蒸馏,在三个多模态模型上把真实图像平均分提高 3.23、1.07、1.29 分

    该工作提出 Where-OPD:在在线自蒸馏中让教师模型额外获得文本形式的空间提示(指出与问题相关的视觉元素及其坐标),学生模型只看图像和问题;训练数据由程序化生成的几何图形计数场景自动产生,无需人工标注或外部教师模型,在 Qwen3.5-4B、Qwen3.5-9B 和 Qwen3-VL-4B 上改善了计数、文档与图表理解基准,并在仅用合成场景训练的情况下把 CVBench、V*、ZoomBench、BLINK、HR-Bench、MME-RealWorld 等真实图像基准的平均分分别提高 3.23、1.07、1.29 分。

  10. arXiv

    LoopVL 用共享参数循环 128 层,在 MMStar 上把 1B 骨干从 55.33 提到 63.47,并观察到跨循环的 Visual Aha Moment

    作者提出 LoopVL,把循环 Transformer 扩展到视觉语言模型:语言骨干基于 HRM-Text 开源框架与数据自行预训练,采用 Module-Loop 与 Model-Loop 嵌套的 H/L 共享参数结构,默认 H2L3 配置下一次前向执行 128 次 Transformer 层调用;在相同 0.14T token 训练预算下,LoopVL 在 MMStar、RealWorldQA、ChartQA 等基准上超过同层数的 Transformer-VL 1B,并接近或超过更大的 4B 稠密基线,同时作者报告了跨模型循环的视觉注意力重分配现象,称为 Visual Aha Moment。