VA-TDM把四步生成的监督换成速度场对抗：33B音视频模型上对多步教师的偏好率升到45.53%
核心概要
少步扩散蒸馏长期依赖学生分数估计，而中间步骤的分数难以准确跟踪，估计出的分布可能与更新学生所用的分布不一致。VA-TDM把监督对象换成由学生采样过程构造的速度场，用学习到的评论器比较学生与教师速度场并把分歧转化为生成器反馈，同时统一了分数蒸馏、Fisher匹配与矩匹配。在SD3.5-Medium四步生成上，GenEval从TDM的0.61升到0.67；在33B的MiniMax-H3上，同预算4-NFE下人类偏好对比中胜Fast-H3的比例为61.33%，对100-NFE教师的偏好率为45.53%，Fast-H3为24.67%。
深度剖析
少步扩散模型现在可以在四个采样步内同时改善提示遵循、图像质量与多样性，而不必在中间步骤上依赖难以准确估计的学生分数。 此前的轨迹分布匹配类方法在中间转移处需要在线估计学生分数，而常用的干净目标去噪估计的是另一个分布，与生成器更新所需的分布不一致。 在SD3.5-Medium的四步生成上，VA-TDM把GenEval从最强基线TDM的0.61提高到0.67，OCR为0.59，LPIPS多样性为0.58，高于TDM的0.57。
监督信号改为由学生自身采样链构造的速度场，教师与学生速度场之间的差异直接作为生成器的学习信号。 速度目标可以由端点相关的路径定义，因此能继承学生转移中干净预测与残余之间的依赖关系，而不必绕开这一依赖去估计扰动后的分数。 在FLUX.2-Klein-Base 4B的四步设置上，VA-TDM相对官方发布的四步模型把GenEval从0.78提高到0.80，OCR相似度从0.64提高到0.69，LPIPS从0.47提高到0.56。
同一套对抗速度框架把两种速度构造与两种梯度约定组合起来，对应到已有的分数蒸馏、Fisher匹配和矩匹配更新，并给出新的训练目标。 此前的MMD更新是启发式近似梯度，而该框架在固定外层测度的约定下给出其目标函数的精确梯度，并把该启发式更新解释为对抗速度博弈中的生成器更新。 在四步SD3.5-Medium的消融中，仅用A-form时GenEval为0.64、OCR为0.55，仅用B-form时GenEval为0.61、OCR为0.57，两者合并后OCR与ImageReward高于任一单独形式。
沿学生轨迹的每个中间转移分别提供监督，并让场网络知道当前监督的是哪一次转移，从而在不同步骤上给出不同的监督信号。 此前的少步方法通常用共享的辅助分数模型覆盖所有步骤，而不同步索引的学生转移一般诱导不同的噪声分布。 在四步SD3.5-Medium上，去掉转移感知场估计后GenEval为0.58、OCR为0.53、LPIPS为0.56，低于完整配置的0.67、0.59和0.58。
启示与展望
已展示的范围是四步生成：在SD3.5-Medium与FLUX.2-Klein-Base 4B上的文本到图像评测，以及在33B MiniMax-H3上的文本到视频与音频生成，人类偏好研究使用10个随机提示并逐条人工检查内容。读者对象是从事扩散与流模型蒸馏的研究人员和工程师；源文本未提出超出这一范围的下一步实验。
源文本报告的是四步设置下的结果，未给出其他步数下的表现；FLUX.2 4B上LPIPS从0.47升到0.56的同时，PickScore为0.8694，低于官方四步模型的0.8746；人类偏好对比为匿名成对比较，样本为10个随机提示。