DiT特征为何弱于U-Net：长跳连接把扩散噪声直接旁路，中间层特征质量随之回升
核心概要
从零训练的对照实验显示，给DiT加上长跳连接后，中间层特征在语义对应、分割与深度任务上全面变好，即使把生成能力对齐到相同FID也仍然更好。
深度剖析
扩散Transformer（DiT）作为视觉特征提取器时，中间层激活的质量不如U-Net骨干，而长跳连接是造成这一差距的一个普遍原因。 此前已有工作报告DiT特征偏弱，但给出的解释主要适用于语义对应任务，特征退化在其他任务上同样存在，说明原因并不完整。 在生成能力大致对齐的预训练模型上，带长跳连接的U-ViT在SPair (a)上取得53.53，而不带长跳连接的DiT-XL/2为44.01。
长跳连接让扩散噪声绕开负责重建目标表征的中间层，使这一段的激活不再被迫同时携带噪声，特征质量因此提高。 常见解释认为长跳连接只是把边缘等高频语义抄近路送走，但被测试的是语义分割等细粒度任务，仅靠高频语义无法解释这种提升。 在ImageNet 256×256上从零训练两个DiT-XL/2，唯一差别是有无长跳连接；带长跳连接在SPair (a)为41.10、Horse-21为36.32，不带为34.68和30.35，且只训练100k步、FID对齐到21.67的版本仍为38.85和35.24。
互信息探测与替换输入信号的对照实验共同支持噪声旁路这一机制，并表明长跳连接同时携带高频语义和扩散噪声。 此前对长跳连接的认识只覆盖高频语义，没有把扩散噪声作为它携带的信息。 用互信息神经估计器测量各层激活与目标隐变量、与所加噪声之间的互信息，带长跳连接时中间段噪声信息减少、目标信息增加；把原始噪声换成随机噪声或把隐变量换成另一张图的隐变量后，训练损失更小但表征与生成都变差，其中一种设置损失降到NaN。
启示与展望
结论来自在ImageNet 256×256上从零训练的DiT-XL/2对照，以及预训练DiT-XL/2、U-ViT、Skip-DiT的对比，下游评测覆盖SPair-71k语义对应、Horse-21与CityScapes语义分割、NYU Depth v2深度估计。适合关注扩散骨干设计与扩散特征提取的研究者和工程师阅读。对预训练DiT加长跳连接的尝试只带来轻微特征提升，作者认为有效融合可能需要从头训练。
作者不主张长跳连接是DiT特征退化的唯一原因，也不主张扩散噪声比高频语义更重要，只说明两者都不可忽略。受控实验基于常规DiT架构而非MMDiT，且未能有效给已有预训练DiT加装长跳连接。