Dolby (United States)

这篇综述指出视频与音频虽被共同感知、但多数生成模型仍各自独立处理，于是把联合生成、跨模态生成（由一方生成另一方）与联合编辑三类问题统一定义为同一个音视频对分布上的问题，围绕“输出如何在时间与语义上保持跨模态一致”这一核心问题，提出沿生成策略、音频表示、视频表示、对齐施加方式、预训练复用五个设计轴的分类体系，并首次系统梳理联合音视频编辑，将其映射为九类编辑、28种编辑类型，同时整理各设定下的方法、数据集与指标，最后给出长时程一致性、细粒度控制、物理合理性与评测等开放问题。

这篇综述指出视频与音频虽被共同感知、但多数生成模型仍各自独立处理，于是把联合生成、跨模态生成（由一方生成另一方）与联合编辑三类问题统一定义为同一个音视频对分布上的问题，围绕“输出如何在时间与语义上保持跨模态一致”这一核心问题，提出沿生成策略、音频表示、视频表示、对齐施加方式、预训练复用五个设计轴的分类体系，并首次系统梳理联合音视频编辑，将其映射为九类编辑、28种编辑类型，同时整理各设定下的方法、数据集与指标，最后给出长时程一致性、细粒度控制、物理合理性与评测等开放问题。

该工作把大模型路由重新表述为面向覆盖率的子集选择问题，用行列式点过程同时刻画模型能力与模型间冗余，并通过失败集边缘化的训练目标直接优化“至少一个被选模型答对”的概率，在RouterEval的中池（3811个候选模型）与大池（5000个候选模型）设置上取得更高的平均Success@10（0.8632与0.9914）和更高的子集多样性，同时用自适应贪心停止规则按查询难度决定子集大小。

该工作把大模型路由重新表述为面向覆盖率的子集选择问题，用行列式点过程同时刻画模型能力与模型间冗余，并通过失败集边缘化的训练目标直接优化“至少一个被选模型答对”的概率，在RouterEval的中池（3811个候选模型）与大池（5000个候选模型）设置上取得更高的平均Success@10（0.8632与0.9914）和更高的子集多样性，同时用自适应贪心停止规则按查询难度决定子集大小。

Tacit-TTS 从 IndexTTS2 蒸馏而来，用掩码非自回归生成替换自回归文本到语义解码、引入免训练声学长度的估计并对流匹配渲染器做 ReFlow 蒸馏，在两个英语和两个普通话数据集上取得有竞争力的零样本克隆质量，对超过 5 秒的语句生成速度比 IndexTTS2 快 10 倍以上，且无需参考语音转写即可支持跨语言与非词汇参考。

Tacit-TTS 从 IndexTTS2 蒸馏而来，用掩码非自回归生成替换自回归文本到语义解码、引入免训练声学长度的估计并对流匹配渲染器做 ReFlow 蒸馏，在两个英语和两个普通话数据集上取得有竞争力的零样本克隆质量，对超过 5 秒的语句生成速度比 IndexTTS2 快 10 倍以上，且无需参考语音转写即可支持跨语言与非词汇参考。