跳到主要内容
检索

# 三维理解

4 篇关联报道

订阅更新
  1. arXiv

    同一物体换个机位就认不准:LieVLM 用几何令牌预测局部旋转,ScanRefer 定位精度提高 6.9 点

    多视角三维视觉语言模型存在视角诱导的语义漂移:同一物体和同一提问,换一个相机视角,目标相关响应就会变弱、弥散或偏移。LieVLM 让几何令牌预测局部旋转参数和通道门控,在预训练视觉特征的三维子空间上施加保长的旋转修正,再把修正量门控后融回原表示。在 ScanRefer 上,LieVLM-8B 取得 64.5 的 Acc@0.25 和 57.2 的 Acc@0.5,在相同提案细化协议下比已发表的 VG LLM-8B 分别高 6.9 和 6.3 点。

  2. arXiv

    OctLLM 用八叉树占用字节作为显式三维语言,在统一多模态模型中同时提升三维生成与理解并保持语言能力

    OctLLM 把网格转成坐标与深度锚定的稀疏八叉树(S-Octree)占用字节序列作为显式三维语言,并将三维容量放入与预训练权重分离的全秩分支,仅训练约 2.80B 参数;在统一多模态 LLM 中取得最佳三维生成与理解,图像到三维 Inception FID 由 ShapeLLM-Omni 的 38.21 降至 31.58,渲染接地描述评分由 18.14 升至 46.88,同时在 MMLU 与 HellaSwag 上完全复现骨干、GSM8K 相差不到一分。

  3. arXiv

    ELSA3D用弹性语义锚定统一3D理解与生成,在图像到3D、文本到3D生成和3D描述上取得最优性能,同时将FLOPs与推理延迟约减半

    ELSA3D提出弹性语义锚定,用尺度感知八叉树分词器表示几何,并引入稀疏跨模态的Anchor Tokens,将语义线索路由到最相关的3D尺度并回写融合信号,配合逐块轻量路由器实现弹性计算与推理,在图像到3D生成、文本到3D生成和3D描述上取得最优性能,超过最强统一基线,且相对同模型非弹性版本将FLOPs和推理延迟约减半。

  4. arXiv

    Imagine3D-LLM 让多模态大模型先“想象”出紧凑 3D 场景再作答,在 SPAR-Bench 上以 7B 规模取得 68.5 平均分

    该工作提出 Imagine3D-LLM:在图像 token 之后追加一小组可学习的 Gaussian summary token,将其解码为紧凑的 3D Gaussian Splatting 表示,并用光度重建损失与标准下一 token 预测联合训练,使多视图多模态大模型在作答前先组装一个粗略的 3D 场景表示;在七个空间推理与 3D 场景理解基准上一致优于此前方法,SPAR-Bench 平均分达 68.5,超过最强空间感知基线 3DThinker-7B 5.2 分。

已读完全部报道