跳到主要内容
检索

# 空间推理

12 篇关联报道

订阅更新
  1. arXiv

    多模态训练改写纯文本推理:抽掉一条视觉—语言方向,空间题掉分而逻辑题不动

    多模态训练是否改变了模型在纯文本输入下的推理方式,此前只有行为层面的证据。研究在6个模型家族、10种多模态配置上构造视觉—语言方向,并在推理时移除隐藏状态在该方向上的投影;Chameleon-7B在BBH导航任务上掉分,而布尔表达式基本不受影响,形成双重分离。效应具有方向特异性和层局部性,并延伸到心理旋转、折纸、视角采择等心理模拟任务。

  2. arXiv

    同一物体换个机位就认不准:LieVLM 用几何令牌预测局部旋转,ScanRefer 定位精度提高 6.9 点

    多视角三维视觉语言模型存在视角诱导的语义漂移:同一物体和同一提问,换一个相机视角,目标相关响应就会变弱、弥散或偏移。LieVLM 让几何令牌预测局部旋转参数和通道门控,在预训练视觉特征的三维子空间上施加保长的旋转修正,再把修正量门控后融回原表示。在 ScanRefer 上,LieVLM-8B 取得 64.5 的 Acc@0.25 和 57.2 的 Acc@0.5,在相同提案细化协议下比已发表的 VG LLM-8B 分别高 6.9 和 6.3 点。

  3. Hugging Face - Blog

    Ai2 发布 ToyBlocks 机器人学习沙盒:仿真里练出的技能,真机上成功率 81.1% 对 80.0%

    Ai2 发布 ToyBlocks,一个围绕机械臂与桌面方块搭建的开源仿真框架,属于其 FoundationWorlds 计划的首个受控世界。它自动生成任务与演示数据,让研究者能改变训练数据、重复实验并追踪失败原因。在真机测试中,仅用仿真数据训练的底层技能模型 ManiFlow 在仿真与真实环境中的成功率分别为 80.0% 和 81.1%,而高层规划加底层执行的组合系统在仿真中为 55.5%、真机为 50.0%。

  4. cloud.google.com

    机器人有了云端大脑:Gemini Robotics ER 2 公开预览,关键帧定位准确率 91.3%

    Google DeepMind 的机器人高层推理模型 Gemini Robotics ER 2 进入 Gemini 平台的公开预览,企业可把视觉-语言-动作模型、导航接口等底层控制声明为工具,由模型编排多步任务。该模型在连续视频上判断任务进度并定位关键事件帧,官方给出的关键帧定位准确率为 91.3%,平均绝对帧距 0.96 秒。它面向从固定机械臂到人形机器人的多种形态,并可在 Google Cloud 上完成仿真、评估与部署。

  5. arXiv

    空间推理不再靠猜深度:训练时喂3D线索,推理时只留RGB,四榜均值37.6

    视觉语言模型的空间推理弱在输入:RGB图像不直接给出几何证据,而现有做法要么在推理时接入3D、付出架构与延迟代价,要么只用最终答案做奖励,无法纠正推理链中判错的深度或方向。GPD把深度、语义分割和鸟瞰布局渲染成紧凑文本,按问题路由后只交给教师模型,配合参考答案对错误轨迹施加特权KL,与GRPO联合训练,部署模型仍只吃RGB。在4B骨干上,VSI-Bench达到57.1,MindCube、SPAR-Bench、MMSI-Bench与ViewSpatial四榜均值37.6,高于GRPO与仅用答案作特权的OPSD。

  6. arXiv

    SpatialOPSD 把空间编码智能体的验证轨迹蒸馏进 9B 多模态模型,无工具推理达 51.9 平均准确率

    作者提出 SpatialOPSD,一种在线策略自蒸馏框架,把空间编码智能体经真值验证的执行轨迹作为特权信息,让同一初始化的教师模型在训练时看到轨迹、学生只看到原始图像,并用重复感知蒸馏(重复掩码加不可似然正则)抑制逐字复制;在 MindCube-Tiny 与 ViewSpatial 上,9B 学生平均准确率从 45.9 提升到 51.9,高于 SFT 的 47.6 与 GRPO 的 48.2,并在无工具单次前向中保留其工具教师 SpatialClaw 57.3 的约 91%。

  7. arXiv

    Flow-of-Thought 用轨迹流场生成中间视觉草图,在 Tetris 达 100%、彩色形状达 99%,并在 BLINK 多视角上以 72.2% 超过端点基线 63.9%

    该工作提出 Flow-of-Thought(FoT)框架,用流匹配在旋转轨道与迷宫最短路径前缀上训练坐标、时间与动作条件的空间 U-Net,学习连续视觉动力学并冻结;推理时以源图与其水平镜像作为竞争假设,按前景加权重建能量选择答案。在锁定测试上 Tetris 达 100.0%、彩色形状达 99.0%,迷宫端点 IoU 97.5%、目标到达率 100%;冻结迁移到 BLINK 多视角 133 对公开验证集时,轨道训练流达 72.2%,高于仅端点对照的 63.9%。

  8. arXiv

    3ViewSense 用正交视图与「模拟—推理」机制,让视觉语言模型在遮挡计数与视角一致空间推理上显著超越现有基线

    该工作通过诊断分析指出视觉语言模型空间能力不足的瓶颈在于缺少视角一致的空间接口,而非视觉特征不足或推理能力弱,并提出 3ViewSense 框架,借助正交视图与「模拟—推理」机制把自我中心感知与异我中心参照对齐,从而支持显式心理旋转与重建,在空间推理基准上显著优于现有基线,并在遮挡密集计数与视角一致空间推理上取得稳定增益,同时提升空间描述的稳定性与一致性。

  9. arXiv

    Soft Spatial Reasoning 用 AdaptSoft 按步调节软思考温度,在 OmniSpatial 上把加权平均准确率提到 49.68

    该工作提出 Soft Spatial Reasoning 后训练框架,让大型视觉语言模型在空间推理的每个思维链步骤用混合 token 嵌入的连续软状态代替硬性选择单个 token,并用 AdaptSoft 控制器依据当前隐藏状态与预测不确定性逐步调节软度,配合梯度对齐目标训练;在 OmniSpatial、SpatiaLab、MindCube 三个基准上,其加权平均准确率均高于同骨干的硬思考与固定软度思维链基线以及所比较的现有模型。

  10. arXiv

    SpatialCORE 把「框得准不准」和「框得自不自信」一起写进奖励,8B 模型在 OmniSpatial 与 SpatiaLab 上超过同规模开源与专用空间推理模型

    SpatialCORE 是一个基于 GRPO 的后训练框架,它用模型自身生成 grounding(边界框)时的坐标 token 不确定性来加权几何匹配质量,并用答案门控把 grounding 优化与最终答案正确性绑定,使模型学会从「既准确又自信」定位到的任务相关物体出发进行空间推理;在 OmniSpatial 留出测试集上 SpatialCORE-8B 取得开源与专用空间推理模型中最高的加权平均准确率,并在未参与训练的 SpatiaLab 上零样本领先,消融显示去掉置信度加权后准确率从 56.33% 降到 52.33%。