SpatialOPSD 把空间编码智能体的验证轨迹蒸馏进 9B 多模态模型,无工具推理达 51.9 平均准确率
核心概要
作者提出 SpatialOPSD,一种在线策略自蒸馏框架,把空间编码智能体经真值验证的执行轨迹作为特权信息,让同一初始化的教师模型在训练时看到轨迹、学生只看到原始图像,并用重复感知蒸馏(重复掩码加不可似然正则)抑制逐字复制;在 MindCube-Tiny 与 ViewSpatial 上,9B 学生平均准确率从 45.9 提升到 51.9,高于 SFT 的 47.6 与 GRPO 的 48.2,并在无工具单次前向中保留其工具教师 SpatialClaw 57.3 的约 91%。
Figure 1 : MindCube-Tiny test accuracy . OPSD from spatial agents effectively boosts spatial reasoning.
arXiv深度剖析
仅把空间编码智能体的执行轨迹作为条件提示,就能让多模态模型的思维链达到与完整工具智能体相当的空间推理水平,且推理中显著增加对三维感知与反事实运动概念的引用。 此前工具增强路线把空间推理外包给代码执行与几何工具,本文把这一推理时收益识别为可迁移的训练信号,而非必须保留的外部依赖。 在共享空间基准上以 Qwen3.5-9B 对比直接问答、提示式思维链、空间编码智能体与轨迹条件思维链四种设置,并统计轨迹条件推理中三维感知与反事实运动概念引用频率的变化。
SpatialOPSD 用同一初始化的冻结教师(可见验证轨迹)对学生(仅见原始输入)做在线策略自蒸馏,把工具增强的空间推理内化到独立模型。 与答案级 SFT 和依赖稀疏结果奖励的 GRPO 不同,该方法在模型自身 rollout 上提供稠密 token 级监督,无需奖励模型或价值模型。 在 MindCube 训练集 10,000 题中,SpatialClaw-Qwen3.5-9B 正确回答 5,008 题,SpatialOPSD 与 GRPO 共用这 5,008 题;SFT 用 Qwen3.7-plus 在全部 10,000 题生成无工具理由并保留 4,459 题,三者使用字节一致的学生输入与相同评测协议。
重复感知蒸馏通过 n-gram 匹配检测自我重复与特权信息转写,对被标记 token 屏蔽蒸馏监督并施加不可似然惩罚,从而在保留知识迁移的同时大幅降低特权信息泄漏。 以往缓解特权泄漏多从改造教师监督入手,本文保持特权内容不变,只惩罚学生复现轨迹专属内容的 token。 消融显示仅用掩码平均准确率最高(53.0),仅用不可似然惩罚泄漏率最低(6.7%),两者合用把泄漏率从原始 OPSD 的 82.7% 降到 9.1%,平均准确率 51.9;惩罚权重与最小重复跨度扫描显示中等惩罚同时抑制泄漏并提升准确率。
该框架在多个学生规模与不同编码智能体上均带来提升,并在域外基准上保持甚至略优于思维链基线。 说明从工具辅助数据生成到独立空间推理的路径不依赖特定模型规模或特定智能体实现。 2B、4B、27B 学生平均准确率分别从 40.6%、46.4%、50.6% 提升到 42.8%、50.2%、54.2%;四个域外基准平均 64.7%,高于 SFT 的 38.4% 与 GRPO 的 63.4%,略高于思维链基线 64.4%;SpatialClaw 与 pySpatial 轨迹均能提升基座。
启示与展望
该结果面向需要从二维观测推断潜在三维属性的多模态空间推理场景,适用于训练时可获得经真值验证的工具轨迹、而推理时必须无工具单次前向的部署条件。方法依赖一个能正确求解训练查询的编码智能体作为特权来源,本文用 SpatialClaw-Qwen3.5-9B 在 MindCube 训练集上正确回答 5,008 题来构造该来源;对无法被该智能体正确求解的查询,本文未报告其处理方式。评测覆盖 MindCube-Tiny 与 ViewSpatial 两个空间基准,以及 BLINK、OmniSpatial、MMStar、Video-MME 四个域外基准,读者可据此判断其适用范围。
泄漏率采用刻意宽松的关键词规则,只检测 agent、trace、tool 的独立出现,不判断语义意图,因此该指标反映表层措辞而非真实依赖;读者需注意其与语义泄漏之间的差距。定量分析基于 1,040 个 MindCube-tiny 样本的词法标记频率与 rollout 覆盖率,作者明确说明这些指标刻画的是表述风格而非内在推理能力,不应解读为推理提升的因果证据。特权信息类型中 summary 表现最好,作者将其归因于适中的师生熵差,但 full-trace 与 fact 的熵差变化如何具体影响优化仍属开放问题。此外,SFT 训练集与 SpatialOPSD、GRPO 训练集并非逐样本匹配,跨方法比较时需留意这一数据构造差异。
