跳到主要内容
返回时间线
arXiv来源发表:

扩散采样不再全图一个引导强度:按去噪轨迹逐token分配,VBench总分最高涨0.75

核心概要

流匹配模型的分类器无关引导此前对所有潜变量token使用同一个缩放系数,而各token的速度预测在采样过程中变化并不一致。TrajCFG把引导速度方向的历史变化映射为有界系数,方向变化大的token给更强引导,方向稳定的token给更弱引导,并融合相邻步与区间归一化的长跨度反馈,且不增加模型评估次数。在文本到视频、图像到视频、文本-音频-视频、文本到图像和图像到3D生成上,它相对基础采样器均有提升;文本到视频在三个骨干上VBench总分比各自最强基线高0.30至0.75分。

Source-provided article image: TrajCFG: Token-Wise Classifier-Free Guidance via Denoising Trajectory Feedback
arXiv

深度剖析

引导强度从整张图共用一个系数,改为每个潜变量token各自一个系数,分配依据是采样过程中该token引导速度方向的历史变化。 此前的分类器无关引导对所有潜变量token施加同一个缩放系数,尽管这些token的速度预测在采样过程中演化方式并不相同。 受控诊断与消融实验分别考察了方向反馈、逐token分配和历史跨度融合三项因素各自的作用。

做法是把引导速度方向的变化量映射到有界区间内的系数,变化越大引导越强,方向越一致引导越弱。 该方法同时使用相邻步反馈和经过区间归一化的更长跨度反馈,并复用标准分类器无关引导已有的预测结果。 复用已有预测意味着不需要额外的模型评估,因此这套逐token引导是免训练的,可直接加在流匹配模型的采样流程上。

在文本到视频生成上,三个骨干各自的VBench总分都比该骨干上评估的最强基线高出0.30至0.75分。 提升出现在文本到视频、图像到视频、文本-音频-视频、文本到图像和图像到3D生成五类任务上,覆盖多个骨干。 这些结果支持把历史方向反馈作为一种可广泛使用的细粒度引导分配信号。

启示与展望

报道覆盖的是文本到视频、图像到视频、文本-音频-视频、文本到图像和图像到3D生成这几类任务,以及多个骨干上的对比结果;文本到视频的量化结论是三个骨干上VBench总分相对各自最强评估基线提高0.30至0.75分。适合关注扩散与流匹配采样、引导策略和生成质量评测的研究人员与工程师阅读。

材料把历史方向反馈称为一种可广泛适用的细粒度引导分配信号,这一表述来自上述任务与骨干上的实验结果;逐token分配与历史跨度融合各自贡献多少,由受控诊断与消融给出,而非单一整体结论。