跳到主要内容
返回时间线
arXiv来源发表:

同一个物体换一种材质提示:物理参数按接触窗口拟合,部件还能拆开各自模拟

导语

PhysForge 让同一个三维物体按用户指定的材质生成可仿真的物理响应,在常见与不常见材质上都拿到最高的 CLIP 与物理可控性分数,并把物体拆成语义部件分别拟合、再组合成联合仿真。

Source-provided article image: PhysForge: Material-Controllable 3D Reconstruction with Separable Components
Figure 1 · arXiv

正文

三维资产现在可以按用户指定的材质来定物理行为,而不只是从外观反推材质。 此前的方法用视觉语言模型或判别模型从外观推断物理属性,预测主要由训练数据里的外观—材质相关性决定,很难给同一个物体指定材质并得到对应响应。 在 PhysAssets 与 Google Scanned Objects 上,PhysForge 在常见与不常见材质上都取得最高的 CLIP 分数和物理可控性分数,平均物理可控性 4.3 对最强基线 3.8,平均 CLIP 0.261 对最强基线 0.249。

物理参数不再对整段生成视频拟合,而是只在接触、碰撞和形变这类能暴露材质的区间里拟合。 对整段生成序列拟合会把材质响应和不符合物理规律的运动混在一起,因为生成视频会违反物理约束,从而让拟合出的材质参数产生偏差。 去掉 PhysFit、改为对整段生成视频拟合后,损失曲线在更长序列上难以定位需要拟合的区间,拟合性能下降且拟合时间增加。

复杂交互被拆成单个物体和语义部件,各自独立优化物理参数,再按相对运动组合进同一个仿真。 已有方法常把每个分割出的物体当成一个整体来模拟,抑制了其语义部件之间的相对运动和交互。 去掉 PhysComp 会把语义上不同的部件合并成一个仿真体,部件间的相对运动与交互随之消失;保留 PhysComp 时,桌子、瓶子和杯子各自保留物理属性与运动状态,接触时会碰撞和晃动。

接下来

PhysForge 面向需要按材质提示构建可仿真三维资产的研究与工程场景,输出是带语义部件标签、可放进共享仿真器的三维高斯资产。评测覆盖 PhysAssets 与 Google Scanned Objects 两个数据集,仿真用基于 Taichi 的 MPM 与刚体求解器,生成 150 帧、30 FPS 的视频。材料拟合最多在检测到的碰撞事件上迭代 20 轮,从视频力拟合得到的位置和速度初始化。

PhysComp 依赖生成视频按动态和语义信息分割物体,改变材质条件需要为每一次材质变化重新生成视频并重新拟合物理参数。整体表现还取决于生成视频对物理行为的刻画程度,PhysFit 只能在一定程度上缓解视频生成带来的幻觉。作者提出未来可采用更先进的非物理运动分离技术,为物理参数拟合提供非物理运动更少的更干净窗口。

来源