像素空间扩散模型此前沿用从序列建模继承来的 softmax 注意力做 token 混合，而高斯噪声下的最优去噪器本可用观测的多项式泛函展开。PoD 把每个图像块压进低维瓶颈，再用级联的低秩 Volterra 层同时完成 token 混合与通道混合，残差路径上不放激活函数。在 ImageNet 上参数与 FLOPs 对齐时，PoD 在每个尺度上的 FID 都优于 JiT，最大差距出现在 G 尺度。
像素空间生成模型把整幅图像切成图块送入Transformer，图块越细，全局注意力的二次开销越大，细节与通信成本被同一张网格绑死。SpecSlot把每个空间锚点展开成若干槽位，每个槽位固定负责一组互不重叠的DCT系数，只让负责最低频那组的槽位进入全局阶段，其余槽位只在锚点内局部交互。在ImageNet-512上，W256/K4配置比同算力的JiT对照FID低2.84、GFLOPs少3.9%，比JiT-B/16高0.69 FID但成本低38.2%。
该工作提出异构精炼（heterogeneous refinement），让像素空间扩散 Transformer 中不同特征组在网络深度上获得不同的精炼预算，从而自发形成“持久特征”（编码全局结构）与“活跃特征”（编码高频细节）的分工，并据此提出 Persistence Forcing（PerF）与 Persistence Guidance（PG），在 ImageNet 256 上将 JiT-B/L/H 的 FID 分别从 3.66、2.36、1.86 降至 2.81、1.91、1.63，在 ImageNet 512 上将 JiT-H/32 的 FID 从 1.94 降至 1.76。
该研究在已收敛的像素扩散模型上保留原有扩散或流匹配目标、仅在非高噪声时间步对预测输出加入对抗损失，在 DeCo 与 PixelGen 两个像素骨干上同时改善分布保真度、覆盖度、提示对齐与感知质量，并把这一增益归因于恢复了自然图像缺失的高频功率，而相同流程在测试的潜空间扩散配置上未产生可比增益。
已读完全部报道