同一物体换个机位就认不准：LieVLM 用几何令牌预测局部旋转，ScanRefer 定位精度提高 6.9 点
核心概要
多视角三维视觉语言模型存在视角诱导的语义漂移：同一物体和同一提问，换一个相机视角，目标相关响应就会变弱、弥散或偏移。LieVLM 让几何令牌预测局部旋转参数和通道门控，在预训练视觉特征的三维子空间上施加保长的旋转修正，再把修正量门控后融回原表示。在 ScanRefer 上，LieVLM-8B 取得 64.5 的 Acc@0.25 和 57.2 的 Acc@0.5，在相同提案细化协议下比已发表的 VG LLM-8B 分别高 6.9 和 6.3 点。
深度剖析
三维视觉语言模型对同一场景、同一目标和同一提问的响应会随相机视角改变，目标相关激活可能减弱、弥散或转向无关区域，这一现象被称为视角诱导的语义漂移。 此前的三维多模态模型主要把几何特征当作附加上下文，通过加性注入或注意力注入并入视觉表示，并未显式定义几何应当如何驱动语义随视角变化。 在固定场景、目标、提问、检查点和参考视角、只沿同一相机轨迹改变视角的受控对比中，不加路由的响应在近、中、远三档视角下明显漂移，而 Lie 路由保持更集中的目标响应。
LieVLM 用几何令牌预测每个视觉令牌、每个三维通道组上的局部旋转生成元与通道级路由系数，只把相对单位变换的修正量写回语言模型。 修正量经无偏置输出投影映射回原令牌空间，再与原始二维语义路径和直接几何路径按门控系数逐元素融合，因此预训练语义和直接空间上下文都被保留。 在 ScanRefer、Scan2Cap 和 EmbodiedScan 三维视频目标检测上，与共享骨干、数据和训练配置、仅融合方式不同的 VG LLM 对照，LieVLM 在训练规模和更强骨干上均取得一致提升。
在 Scan2Cap 三维密集描述上，LieVLM-8B 取得 82.7 的 CIDEr，高于 Video-3D LLM 的 80.0 和 LLaVA-3D 的 79.2。 与同为 RGB 输入的几何注入基线 VG LLM-8B 相比，CIDEr 从 80.0 提升到 82.7，其余描述指标保持相当。 在 EmbodiedScan 三维视频目标检测上，4 帧设置 F1 从 VG LLM-8B 的 41.2 提升到 45.8，6 帧设置从 40.0 提升到 44.1，三随机种子配对结果在全部六项聚合指标上均为正。
启示与展望
评估集中在 ScanRefer、Scan2Cap、EmbodiedScan 等静态室内场景基准，以及 SPAR-Bench、CV-Bench-3D、BLINK-Spatial 和 VSI-Bench 空间推理基准；动态物体、室外环境和长时程轨迹被列为后续研究。
路由门控和 Padé 归一化只能约束中等程度的几何扰动，严重的几何退化仍会降低路由修正的可靠性；局部旋转约束只作用于学习到的三维通道组，并不对完整模型施加与物理相机变换一致的等变性或复合一致性。