跳到主要内容
返回时间线
arXiv来源发表:

同一物体换材质提示就能换物理响应:PhysForge把接触与形变窗口挑出来拟合

核心概要

PhysForge把视频扩散模型生成的材质相关动力学当作参照,用来拟合三维资产的物理参数,并让用户指定的材质真正改变物体的接触与形变响应。此前这类参数多由外观推断,难以对同一物体指定材质,也难以从物体与语义部件之间的复杂交互中估计属性。在PhysAssets与Google Scanned Objects上,它在常见与不常见材质上都取得最高的CLIP分数与物理可控性分数,平均物理可控性4.3,最强基线为3.8。

Source-provided article image: PhysForge: Material-Controllable 3D Reconstruction with Separable Components
Figure 1 · arXiv

深度剖析

重建出的三维资产现在可以按用户指定的材质改变物理响应,而不只是外观看起来像某种材质。 此前物理属性多由视觉语言模型或判别模型从外观推断,预测受训练数据中的外观与材质相关性支配,很难给同一物体指定材质并得到对应响应。 在PhysAssets与Google Scanned Objects上,PhysForge在常见与不常见材质两类设置下都取得最高的CLIP分数与物理可控性分数,平均物理可控性4.3,最强基线为3.8,平均CLIP为0.261,最强基线为0.249。

复杂交互被拆成单个物体和语义部件,各自独立优化物理参数,再按相对运动组合进同一场仿真。 已有方法通常把每个分割出的物体当作一个整体仿真,抑制了其语义部件之间的相对运动与相互作用,部件之间的耦合运动也掩盖了究竟是哪种材质属性产生了观测响应。 去掉PhysComp后语义上不同的部件被合并为单一仿真体,相对运动与相互作用消失;保留时桌子、瓶子与杯子各自保持物理属性与运动状态,接触时会碰撞和晃动。

物理参数只在能暴露材质属性的时间窗内拟合,并把生成视频中不符合物理的运动单独处理。 已有方法对整段生成视频拟合,其中很多区间几乎不提供物体物理属性的证据,导致拟合效果次优。 去掉PhysFit改为对整段生成视频拟合后,损失函数难以定位需要拟合的区间,拟合性能下降且拟合时间增加。

启示与展望

演示范围是PhysAssets与Google Scanned Objects上的三维资产重建与物理仿真,覆盖常见与不常见材质,以及液体、沙等材质条件和杯子与杯托、锅与锅盖、两本书这类可分离部件。适合做物理仿真、三维生成与交互式内容的研究人员和工程师阅读。原文提出后续可用更先进的非物理运动分离技术,为参数拟合提供更干净、非物理运动更少的窗口。

PhysComp依据生成视频的动态与语义信息分割物体,因此每次改变材质条件都需要重新生成视频并重新做物理拟合。整体表现也取决于生成视频对物理行为的刻画程度,PhysFit只能在一定程度上缓解视频生成带来的幻觉。