跳到主要内容
返回时间线
arXiv来源发表:

视频模型学物理不再靠猜:PhysOPSD把可执行代码当老师,3K样本超过80K监督微调

核心概要

PhysOPSD把可执行仿真代码作为特权上下文,用于视频生成的在策略自蒸馏:同一模型的学生只看到文本,教师额外看到仿真渲染出的物理草稿,从而在不改变推理接口的前提下学会物理上合理的运动。在UniVideo(13B)与OmniWeaving(8.3B)两个骨干上,它用3K样本训练,在VideoPhy-2总体分和PhyGround上均高于用80K数据的监督微调与用21K数据的离线强化学习基线,同时VBench通用质量保持或略有提升。

AI-generated editorial illustration: PhysOPSD: Code as Privilege for Physically Plausible Video Generation

深度剖析

视频生成模型在视觉保真度上已相当成熟,但在物理上合理的动力学和复杂交互上仍然脆弱,针对性的后训练因此成为补足物理能力的主要途径。 监督微调依赖离线数据,与推理时实际访问的状态不匹配;强化学习直接在策略rollout上优化,却受稀疏且定义不清的物理奖励与信用分配问题拖累。 在策略自蒸馏让同一模型分饰学生与教师,学生在推理输入上rollout,教师凭额外特权上下文监督这些rollout,于是问题转为如何设计有效的特权上下文。

PhysOPSD把可执行代码选作特权物理上下文,因为一段可执行程序显式给出物理定律、物体状态与动力学参数,构成一个可编辑的物理世界。 文本提示本质上是陈述性的,真实参考视频则把物理规律与外观、身份、背景纠缠在一起,缺少参数化控制。 PhysOPSD-Engine把真实物理场景翻译成可验证的仿真程序,执行后渲染出物理草稿与有据可依的目标提示,代码负责生成底层动力学,渲染草稿用于条件化自教师。

代码的抽象性被做成双层物理特权:同一场景渲染出保留完整几何与接触的稠密草稿,以及只保留物体级运动、轨迹与接触事件的抽象草稿,形成中间信息瓶颈。 若直接从稠密草稿蒸馏到纯文本学生,特权差距过宽会妨碍知识内化,教师还可能过拟合显式几何而走视觉捷径。 在VideoPhy-2上,仅用抽象草稿的增益为某一水平,仅用稠密草稿为另一水平,而双层阶梯取得最高增益,说明抽象草稿确实起到过渡作用。

代码的可控性被做成受控物理变化:成对场景只改动摩擦系数、恢复系数、质量、初速度或刚度等参数,几何、相机、光照与初始构图严格保持不变。 只观察彼此独立的物理场景,模型可能过拟合到典型运动,而不对物理参数的变化作出响应。 两个变体共享同一初始高斯噪声以抑制与任务无关的rollout方差;在VideoPhy-2上,独立场景训练的增益低于成对变体训练的增益,表明显式反事实动态更能内化物理因果。

启示与展望

演示范围限于标准仿真引擎能稳定计算的物理动力学,即刚体与接触、弹性与可变形固体、流体三类;湍流气体扩散与热力学相变因数值不稳定和难以隔离因果参数而被排除。评测覆盖VideoPhy-2、PhyGround与VBench,训练默认预算为3K样本,推理时学生不带教师或仿真引导。

物理范围被明确限定在可仿真计算的动力学内,混沌多物理与热力学相变不在其中;训练数据规模从3K扩展到更大时增益仍在上升、尚未出现平台,说明默认预算并非饱和点。评测以自动指标与定性图例为主,物理合理性的判定依赖这些基准自身的口径。