空间推理不再靠猜深度:训练时喂3D线索,推理时只留RGB,四榜均值37.6
核心概要
视觉语言模型的空间推理弱在输入:RGB图像不直接给出几何证据,而现有做法要么在推理时接入3D、付出架构与延迟代价,要么只用最终答案做奖励,无法纠正推理链中判错的深度或方向。GPD把深度、语义分割和鸟瞰布局渲染成紧凑文本,按问题路由后只交给教师模型,配合参考答案对错误轨迹施加特权KL,与GRPO联合训练,部署模型仍只吃RGB。在4B骨干上,VSI-Bench达到57.1,MindCube、SPAR-Bench、MMSI-Bench与ViewSpatial四榜均值37.6,高于GRPO与仅用答案作特权的OPSD。
深度剖析
空间推理的训练信号里现在可以带上场景的真实几何,而模型上线时仍然只接收RGB图像和问题。 此前的两条路线各占一端:显式3D方法把几何编码器或重建工具接进模型,代价是架构改动和额外推理开销;基于训练的方法保持RGB推理,但监督只来自最终答案,推理链中判错的深度顺序或左右关系既不会被定位也不会被纠正。 在Qwen3-VL-4B上,GPD在VSI-Bench取得57.1,比基座高1.7分、比GRPO高0.7分、比OPSD高1.4分;在MindCube、SPAR-Bench、MMSI-Bench、ViewSpatial四榜均值37.6,比GRPO高1.9分、比OPSD高6.1分。
几何线索以文本形式进入教师,并且只挑与当前问题相关的那部分。 把全部3D信息不加区分地注入会引入无关上下文、稀释教师信号,因此需要按问题类型选择证据。 离线阶段用固定模板把深度、语义和鸟瞰布局转成文本摘要,再由基座模型按问题路由;消融显示路由文本均值41.5,高于全量3D文本注入的39.8,也高于路由图像的40.4。
蒸馏只作用在学生答错的轨迹上,答对的轨迹不受影响。 对所有轨迹一律施加蒸馏并不最优,学生已经答对时教师信号可能带来噪声或冲突梯度。 把特权KL施加到全部轨迹而非仅错误轨迹,均值下降0.9分至40.6;在仅错误轨迹的设定下,权重从低值升到设定值时均值由39.6升到41.5,继续增大则回落到40.2和39.6。
启示与展望
报告覆盖的是Qwen3-VL-Instruct 2B与4B两个规模,训练混合为10K VSI、4K SPAR和1K MindCube训练集样本,评测为VSI-Bench、MindCube、SPAR-Bench、MMSI-Bench和ViewSpatial五个空间推理基准。适合关注视觉语言模型空间推理与强化学习后训练的研究者阅读。
消融显示特权KL权重过小则过程级纠正不足、过大则过度约束策略并降低表现,说明该权重存在有效区间。特权内化分析中,GPD在测试时注入路由3D文本所获增益小于GRPO,作者据此认为几何线索已在训练中被内化,而非推理时仍依赖它们。
