跳到主要内容
返回时间线
arXiv来源发表:

空间推理不再只看眼前:3,862道题考“动过之后会怎样”,最强模型58.0%对人不敌87.2%

核心概要

空间推理评测从“读出画面里已有的关系”转向“预测干预后看不见的结果”,SpaceCast-Bench用182个真实场景的3,862道题把这一能力拆成静态感知、局部预测和全局预测三层,最强模型只到58.0%,人类为87.2%。

AI-generated editorial illustration: SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models

深度剖析

空间推理评测的对象变了:不再只问画面里已经看得见的关系,而是问一次干预之后、从未被观察到的场景状态里关系会变成什么。 此前的空间基准集中在空间感知,即从已观察帧中读出关系,不要求推理干预后关系如何变化。 基准由182个真实场景的3,862道题、16种任务类型构成,按静态感知、局部预测、全局预测三层组织,覆盖方向、距离、可见性与遮挡、附着结构。

模型要先从多视角观测重建场景,再施加变换,最后在未观察到的结果状态上回答查询。 这一“观察—变换—推断”流程把预测性空间推理与直接读取输入关系的感知任务区分开。 题目由几何驱动的流程生成:从带位姿的RGB-D扫描构建经深度校验的视图链,在三维中施加受控的局部或全局变换,并以程序化方式导出标签,同时保持结果状态不被观察。

在21个模型的评测中,最强模型与人类之间出现明显落差,而专门做空间的模型接近随机水平。 最强模型Gemini 3.5 Flash为58.0%,人类为87.2%,随机基线为25.9%;空间专用模型整体在25.7%至29.1%之间。 评测覆盖9个专有模型、6个通用开源模型和6个空间专用模型,统一使用思维链提示与确定性解码,主指标为16种任务类型准确率的宏平均。

用同一流程生成的数据做后训练,可以把一个4B模型在基准上的整体准确率从34.0%提到65.7%,并在六个域外基准上取得宏平均提升。 Qwen3-VL-4B基线为34.0%,分阶段SFT达到65.7%,域外宏平均从33.5%升到38.1%。 训练集由同一程序化流程从与基准不相交的场景生成,共12,249道题、覆盖全部16种任务类型,对比了混合SFT、分阶段SFT与GRPO三种后训练方式。

启示与展望

基准面向室内场景,题目来自ScanNet与ScanNet++的验证划分,其中ScanNet++贡献3,144道题;评测对象是视觉语言模型在只看到变换前视图时的作答。读者若关心室外环境、物体尺度或布置方式超出这两个来源的情形,需要另行验证。

题目标签依赖重建网格、深度图、相机位姿和实例级语义标注,几何误差会影响射线投射的可见性、表面接触或支撑关系判断,以及物体在所选视图中是否足够可辨;遮挡与附着标签的重建不确定性无法被完全消除,尤其是几何不完整或重建置信度低的物体。三种干预只以程序化方式更新场景几何,不模拟物理动力学,因此不评估形变、摩擦或碰撞驱动的运动。