# 视频到音频生成

这篇综述指出视频与音频虽被共同感知、但多数生成模型仍各自独立处理，于是把联合生成、跨模态生成（由一方生成另一方）与联合编辑三类问题统一定义为同一个音视频对分布上的问题，围绕“输出如何在时间与语义上保持跨模态一致”这一核心问题，提出沿生成策略、音频表示、视频表示、对齐施加方式、预训练复用五个设计轴的分类体系，并首次系统梳理联合音视频编辑，将其映射为九类编辑、28种编辑类型，同时整理各设定下的方法、数据集与指标，最后给出长时程一致性、细粒度控制、物理合理性与评测等开放问题。

这篇综述指出视频与音频虽被共同感知、但多数生成模型仍各自独立处理，于是把联合生成、跨模态生成（由一方生成另一方）与联合编辑三类问题统一定义为同一个音视频对分布上的问题，围绕“输出如何在时间与语义上保持跨模态一致”这一核心问题，提出沿生成策略、音频表示、视频表示、对齐施加方式、预训练复用五个设计轴的分类体系，并首次系统梳理联合音视频编辑，将其映射为九类编辑、28种编辑类型，同时整理各设定下的方法、数据集与指标，最后给出长时程一致性、细粒度控制、物理合理性与评测等开放问题。