Yuhe Liu

该工作系统分析了扩散 Transformer 内部表征，发现模型偏好复用早期层特征并倾向对称层配对，据此提出把残差连接从被动求和改为主动检索的结构化连接设计：将 DiT 沿深度均分为编码器与解码器两阶段，把编码器侧表征作为可微残差源，每个解码器子层通过轻量 softmax 路由选择其镜像对应的编码器源进行自适应融合；在 ImageNet 类条件生成上，该方法以不到 0.1% 的额外参数让 DiT-S/2、DiT-B/2、DiT-XL/2 的 FID 分别从 69.81、44.21、18.85 降至 62.48、36.33、15.07，并把强基线 REPA-XL/2 从 5.9 降至 4.34（无引导），加分类器无关引导后达到 1.39 FI

该工作系统分析了扩散 Transformer 内部表征，发现模型偏好复用早期层特征并倾向对称层配对，据此提出把残差连接从被动求和改为主动检索的结构化连接设计：将 DiT 沿深度均分为编码器与解码器两阶段，把编码器侧表征作为可微残差源，每个解码器子层通过轻量 softmax 路由选择其镜像对应的编码器源进行自适应融合；在 ImageNet 类条件生成上，该方法以不到 0.1% 的额外参数让 DiT-S/2、DiT-B/2、DiT-XL/2 的 FID 分别从 69.81、44.21、18.85 降至 62.48、36.33、15.07，并把强基线 REPA-XL/2 从 5.9 降至 4.34（无引导），加分类器无关引导后达到 1.39 FI