像素扩散不再靠注意力混合：Volterra 层在 ImageNet 各尺度上把 FID 压过 JiT
核心概要
像素空间扩散模型此前沿用从序列建模继承来的 softmax 注意力做 token 混合，而高斯噪声下的最优去噪器本可用观测的多项式泛函展开。PoD 把每个图像块压进低维瓶颈，再用级联的低秩 Volterra 层同时完成 token 混合与通道混合，残差路径上不放激活函数。在 ImageNet 上参数与 FLOPs 对齐时，PoD 在每个尺度上的 FID 都优于 JiT，最大差距出现在 G 尺度。
深度剖析
像素空间扩散的混合算子换成了 Volterra 层，整条残差路径不再含激活函数，也不再依赖注意力、卷积或任何预训练组件。 此前的自包含像素扩散路线保留了从序列建模继承的 softmax 注意力作为混合算子，只把预测目标改成干净图像并对每个图像块做激进瓶颈压缩。 在 ImageNet 上参数与 FLOPs 对齐时，PoD 在每个尺度上的 FID 都低于 JiT，差距最大出现在 G 尺度；在 32×32 图像块设置下这一排序同样成立，PoD-G/32 的 FID 低于 JiT-G/32。
每个原始图像块先经低秩线性映射压到瓶颈维度，随后由交替的跨 token 混合器与通道混合器堆叠成多项式去噪器。 低秩 Volterra 原语用投影—相乘—混合代替稠密高阶核，把二阶 Volterra 项写成两组投影逐元素相乘再混合回去，计算量低于稠密核。 在已知流形的一维螺旋受控实验中，环境维度增大时 Volterra 块在干净图像预测下与流形平均距离最低，比 MLP 与注意力低约二到五倍。
启示与展望
结论建立在 ImageNet-1K 类条件生成、16×16 与 32×32 两种图像块设置，以及参数和 FLOPs 对齐的四个模型尺度上；受控流形实验只使用嵌入到可调环境维度中的一维螺旋。
理论分析假设数据精确支撑在一个光滑紧流形上，而真实图像分布只是靠近这样的流形；压缩项的最坏情况可随环境维度增长；注意力在同等预算下速率更慢目前仍是猜想而非定理。