跳到主要内容
返回时间线
arXiv来源发表:

PhysVGGT:单张图像的前馈稠密物理属性估计

核心概要

PhysVGGT 将物理属性估计表述为稠密逐像素预测问题,用视觉几何 Transformer 提取几何感知 token,再经稠密分支预测摩擦系数、Shore 硬度、杨氏模量和密度的逐像素图、经全局分支预测物体级质量,在单张 RGB 图像上单次前向完成,在 ABO-500 上取得最优质量估计、在分布外的 NeRF2Physics 真实基准上取得最优摩擦与硬度结果,推理延迟 0.13 秒、比此前最优方法快 27 倍。

Source-provided article image: PhysVGGT: Feed-Forward Dense Physical Property Estimation from A Single Image
Figure 2 ·

Figure 2: The overall framework of PhysVGGT.

arXiv

深度剖析

提出前馈框架 PhysVGGT,从单张 RGB 图像一次前向同时输出摩擦系数、Shore 硬度、杨氏模量、密度的稠密属性图与物体级质量,无需逐物体重建与测试时优化。 此前方法多依赖 NeRF 或 3DGS 的逐物体重建再做材料推理,或在前馈路径中仍依赖测试时 VLM、材质检索与属性查表;该工作把物理属性估计直接改写为稠密逐像素预测,推理时不需要任何辅助语义模型。 在 ABO-500(100 个留出物体)上质量 ADE 为 4.73 kg,优于此前最优的 GaussianProperty(5.96 kg);在 NeRF2Physics 13 场景真实基准上摩擦 ADE 0.102、Shore 硬度 ADE 7.05,均为表中最好;推理延迟 0.13 秒,对比 VoMP 的 3.6 秒。

设计跨属性耦合(CPC)模块,在编码器瓶颈处对四个属性各自的隐表示做自注意力,使各属性预测相互提供信息而非独立解码。 独立输出头无法显式交换信息,而摩擦、硬度、刚度、密度由共同的材料与几何特性决定、彼此强相关;CPC 在最低空间分辨率、最高语义层级的瓶颈上跨属性(而非跨空间位置)做注意力,因此计算代价与图像分辨率无关,仅增加 0.9 M 参数。 消融显示相对无 CPC 变体,两层注意力使摩擦 MnRE 提升 3.6%、硬度 ADE 降低 22.4%、质量 MnRE 提升 38.2%;Cross-stitch 与 FiLM 等替代耦合方式效果有限。

采用共享解码器加轻量逐属性头,并引入直接从池化几何 token 回归质量的全局质量头。 用单一共享上采样主干替代四个独立解码器,利用物理属性共享材料边界这一共同空间结构;质量不再由预测密度与重建体积推导,而是从全局几何感知表示直接回归对数质量,避免中间量误差累积。 共享解码器把解码器参数从 40.9 M 降到 31.9 M(减少 75.2% 的解码器参数),同时摩擦 MnRE 从 0.808 升到 0.831、硬度 ADE 从 8.62 降到 7.05;稠密 ρ×V 路线质量 ADE 为 10.3 kg、MnRE 0.517,全局直接头为 4.73 kg、MnRE 0.655。

提出可扩展的伪标签生成流水线,用部件分割、材质与硬度预测、跨视图精修三步从多视图商品图像生成稠密物理属性监督,无需直接物理测量。 已有标注流程或把物理属性赋给 3D 资产(受限于人工整理资产库的规模),或逐物体重建与优化(计算昂贵且不产生可复用语料);该流水线完全离线、不需要 3D 资产,产出逐像素监督,覆盖更多物体。 训练集 ABO-8k 含 8,213 个物体、每个 15 个标定视图(约 123k 图像),其中 7,326 个物体有目录质量标注;跨视图精修相对原始逐视图标签使摩擦 MnRE 从 0.813 升到 0.831、硬度从 0.856 升到 0.908、稠密质量从 0.450 升到 0.655。

启示与展望

该结果面向从单张 RGB 图像估计物体与表面的物理属性,适用于机器人抓取与操作规划、以及需要物理属性先验的物理仿真类应用;训练与主要定量评估建立在 ABO 商品目录的合成多视图渲染上,质量监督来自目录标注,摩擦与硬度的定量验证在 NeRF2Physics 的真实测量上进行,地形泛化仅在 RUGD 与 RELLIS-3D 上做定性观察。方法本身仅使用视觉信息,作者指出当外观不能准确反映底层物理属性时可能产生误导,并计划引入其他感官模态、把 PhysVGGT 集成进机器人系统以评估其对感知与操作的影响。

杨氏模量与密度没有实测的逐像素真值,相关评估只能定性,因此这两项属性的绝对精度仍是开放问题;伪标签由部件分割、VLM 材质与硬度预测、跨视图精修和材质属性表推导而来,其误差如何传递到最终预测值得进一步观察;质量 MnRE 在数据规模从 500 增至 7225 个物体时基本持平并在 2000 个物体处出现回落,而分布外摩擦与硬度随数据规模单调改善,规模效应的机制尚待厘清;超参数敏感性实验在 2000 个物体的子集上训练 2 个 epoch,作者说明其用于比较相对趋势而非绝对性能,且不同随机种子间存在可见波动;此外,本文为全文解析,图表中的视觉细节未逐项核对,若需引用具体图示结论建议对照原文图件。

来源