视频模型不再只认当前画面:同一批实体跨时间配对,未来轨迹与事件一起预测
核心概要
SceneForesee把场景演化理解做成可评测任务:模型在观测视频上估计实体历史,并预测一条场景延续,含未来轨迹与事件,同时给出观测运动中的视觉证据和场景描述。
深度剖析
场景演化理解被定义为一个独立任务:给定观测视频,模型要估计实体历史,并预测一条场景延续,延续由未来轨迹和事件组成,还要附上来自观测运动的视觉证据与场景描述。 此前大型多模态模型需要理解实体随场景发展如何移动和交互,这要求跨时间跟踪同一实体,并把观测到的运动与后续变化关联起来。 SceneForesee基准用成对的观测场景与未来场景、共享实体身份来评测实体连续性和场景演化推理,包含144.57K时间对、1.05M实体对应和272.49K与观测证据配对的事件。
EvoSee通过共享候选状态和联合分配来学习未来几何与事件语义,每个实体从观测中选出一条延续,再用选中的变化做实体细化、保留和场景表示。 该框架把预测出的实体变化带入时空推理,而不是只把演化当作一个附加预测目标。 在SceneForesee上,EvoSee的Combined Point-F1比Qwen3.5-9B高10.45点,Event Global F1高17.24点;在4D推理基准Dyn-Bench上,问答准确率和grounding J&F分别比各自基线系统高4.8点和3.58点。
启示与展望
该工作面向需要跨时间跟踪实体并预测场景延续的视频理解场景,评测依托SceneForesee的成对观测与未来场景,以及Dyn-Bench的4D推理问答与grounding。项目地址已给出,供读者查看实现与数据。
材料以摘要形式给出,未说明EvoSee在SceneForesee和Dyn-Bench之外的表现,也未给出跨域或真实部署条件下的验证;场景演化作为动态表示的有效范围仍以所报告的两个基准为限。
