PerF 让像素空间扩散 Transformer 按特征分工：ImageNet 256 上 FID 从 1.86 降到 1.63，参数量仅增约 3.6%
核心概要
该工作提出异构精炼（heterogeneous refinement），让像素空间扩散 Transformer 中不同特征组在网络深度上获得不同的精炼预算，从而自发形成“持久特征”（编码全局结构）与“活跃特征”（编码高频细节）的分工，并据此提出 Persistence Forcing（PerF）与 Persistence Guidance（PG），在 ImageNet 256 上将 JiT-B/L/H 的 FID 分别从 3.66、2.36、1.86 降至 2.81、1.91、1.63，在 ImageNet 512 上将 JiT-H/32 的 FID 从 1.94 降至 1.76。
深度剖析
异构精炼本身即可诱导有序的特征分工：精炼预算少的特征主要编码连贯的全局视觉结构，精炼预算多的特征逐步转向局部高频细节，作者分别称之为持久特征与活跃特征。 此前像素空间 DiT 普遍采用“全部隐表示在每一层被反复变换”的均匀精炼模式；该工作把逐层宽度变化（收缩—扩张调度）作为在像素空间扩散中制造异构精炼历史的手段，并观察到这种分工并非人为指定，而是随去噪过程自发涌现。 通过把最终 RGB 预测按输出投影分解为不同特征组的加性贡献，作者观察到随精炼预算增加呈现由粗到细的有序变化；在频域上以归一化谱质心衡量，精炼预算小的组（约 0–128）持续由低空间频率主导，精炼更多的组谱质心明显更高，且该趋势在多个扩散时间步上一致。深度轨迹分析显示，一个代表性持久特征组仅在 Block 1 和 Block 12 被更新，第一次更新后其 RGB 读出与特征空间 PCA 在 Block 2 至 10 的旁路过程中保持稳定。
仅有异构精炼不足以提升生成质量，必须显式利用这种分工：PerF 用持久特征作为活跃精炼的结构上下文（P-to-A 条件化），并在采样时通过 Persistence Guidance 放大其影响。 作者先证明参数匹配的异构精炼模型并不优于原版 JiT（100 epoch FID 42.7 对 42.1，200 epoch 33.8 对 33.1），说明“揭示角色”与“利用角色”是两件事；随后把持久特征从被动保留变为显式交互，并进一步把它变成可控的内部条件变量以构造引导方向。 消融从异构骨干出发：加入 P-to-A 条件化后，无 CFG 时 FID 从 42.71 降至 40.35，有 CFG 时从 8.02 降至 7.19；再加入 PG 后进一步降至 24.92 和 5.81。P-to-A 以低秩瓶颈实现（默认秩 128，约 5.7M 额外参数），秩从 128 增至 256 在无 PG 时 FID 仅从 40.35 微降至 40.06，而在 PG=4.0 时从 24.92 降至 22.16。
Persistence Guidance 提供的是与 classifier-free guidance 互补的内部结构引导，而非更强的语义引导。 CFG 依赖外部类别条件构造预测对比，PG 则通过随机丢弃 P-to-A 通路，让同一模型给出“有/无持久结构上下文”的两个预测，其对比刻画的是样本自身已形成的全局结构如何重定向后续精炼。 在多个 CFG 尺度下，中等强度的 PG 都稳定改善 FID，最佳区域约在 PG=3.0；PG 施加于完整去噪区间时整体表现最好（无 CFG 时 FID 16.03、有 CFG 时 3.12，对比不使用 PG 的 21.05 与 3.37）。作者据此认为 PG 不是简单复制更强的语义引导。
PerF 在多个模型规模与分辨率上一致优于对应的 JiT 基线，且额外开销有限。 改进不依赖特定骨干尺寸或分辨率：ImageNet 256 上 PerF-B/L/H 相对 JiT 的 FID 相对降幅约为 23%、19%、12%，同时 IS 与 recall 提升而 precision 相当；ImageNet 512 上 PerF-H/32 的 FID 从 1.94 降至 1.76、IS 从 309.1 升至 335.3、recall 从 0.61 升至 0.64。 主实验在 ImageNet 256 与 512 上以 600 epoch 训练，采用 Heun 求解器 50 步采样；参数开销在 Base/Large/Huge 上分别为 +4.6%、+2.6%、+3.6%，单次前向 FLOPs 增加约 3.3%–5.1%。在完全不用 CFG 的设定下，PerF-B/L/H 的 FID 为 12.53、5.60、3.48，仍优于对应 JiT 的 25.42、13.85、7.15。
启示与展望
该结果面向以 JiT 为骨干的类别条件像素空间图像生成，在 ImageNet 256 与 512 上验证，训练 600 epoch、Heun 求解器 50 步采样，P-to-A 条件化以低秩瓶颈实现（PerF-B/L 秩 128，PerF-H 秩 192），类别条件与 P-to-A 条件均以 0.1 概率独立丢弃。主结果额外在前 100 epoch 使用 REPA 对齐持久特征子空间。可直接沿用这一设置的是希望在不更换像素空间生成框架的前提下改进 DiT 的研究与工程实践；作者也把在更广泛扩散架构与应用中研究异构精炼列为后续方向。
频域分析中作者指出，有序性并非在每个单独时间步上都严格单调，只是精炼预算更大的组整体上更偏向高频内容；持久特征在第一次更新后即呈现连贯全局结构这一观察来自代表性特征组的可视化，其普遍性仍待更系统的刻画。PG 强度过大时性能会回落，说明持久上下文在引导活跃精炼与过度约束之间存在平衡点。此外，主结果依赖前 100 epoch 的 REPA 对齐，而全程对齐反而更差，这一训练配方与异构精炼之间的相互作用仍有进一步厘清的空间。