跳到主要内容
返回时间线
arXiv来源发表:

情绪不再只是标签:AffectWorld把情绪当因果变量,五个世界模型反事实敏感度最高仅0.070

核心概要

AffectWorld把情绪当作驱动未来世界变化的因果变量来评测世界模型,五个当前最好模型在1498段日常视频上世界状态变化得分只有0.100–0.280,反事实情绪敏感度仅0.027–0.070。

Source-provided article image: AffectWorld: Benchmarking Emotion-Driven Future World Prediction
Figure 1 · arXiv

深度剖析

世界模型评测多了一条情绪因果链:给定一段历史视频,模型要生成一个既物理合理、又由情绪推动人物行动并改变社会状态的未来。 此前的世界模型基准主要看物理合理性与感知质量,变量是物理、几何或任务导向的,情绪驱动的世界演化基本没有被测过。 AffectWorld用1498段来自短视频平台的日常视频样本,配以事件背景、可能情绪、行动倾向和原子化世界状态约束,把这条链拆成世界状态一致性、情绪—行动一致性、因果一致性三项任务。

评测还加了一个反事实分支:固定场景与事件,只替换目标人物的情绪,看生成的未来是否随之改变。 同一情绪可以通向多个同样合理的未来,因此标注的不是唯一目标世界状态,而是必须出现、禁止出现和方向性三类约束。 反事实子集含233个样本,每个样本共享同一历史观测,只在情绪与后续演化上分叉;五个模型的反事实情绪敏感度落在0.027–0.070,其中HunyuanVideo-1.5为0.0701,比Wan2.1高29%,比CogVideoX-5B高164%。

评分把自动感知指标与视觉语言模型、语言模型的语义判断合在一起,并用人评做过校准。 任务一用身份保持、空间结构稳定性和时间连贯性三个感知维度取几何平均,任务二和任务三则把感知与判断分开。 视觉语言模型先把生成视频转成带时间锚点的可观察线索描述,语言模型再按分级评分表打分,每条语义判断在温度0.3下重复三次取中位数;人评校准用60段生成视频,另在150段留出视频上报告人—人与评判—人一致性。

启示与展望

这套评测面向短视频中的日常社会场景,覆盖单人、双人和群体三类共16种场景,情绪与行动分别取自6个情绪族和7个行动类别的封闭词表。它适合研究世界模型与视频生成模型的研究者,用来检查模型是否把情绪当作可干预的因果变量,而不是只做情绪识别。评测按三项任务分别报告分数与子维度,便于定位模型在哪一层失效。

情绪与社会后果往往只能部分被观察到,因此标注刻画的是可能发生的转变,而不是唯一正确的潜在状态或未来。语义评测部分依赖视觉语言模型与语言模型评判,尽管经过人评校准,仍可能继承评判者偏差。评测聚焦短视频,可能无法完全代表不同文化背景或长期社会动态。