像素空间生成模型不再让细节拖累全局注意力：低频槽位当载体，512分辨率FID降2.84
核心概要
像素空间生成模型把整幅图像切成图块送入Transformer，图块越细，全局注意力的二次开销越大，细节与通信成本被同一张网格绑死。SpecSlot把每个空间锚点展开成若干槽位，每个槽位固定负责一组互不重叠的DCT系数，只让负责最低频那组的槽位进入全局阶段，其余槽位只在锚点内局部交互。在ImageNet-512上，W256/K4配置比同算力的JiT对照FID低2.84、GFLOPs少3.9%，比JiT-B/16高0.69 FID但成本低38.2%。
深度剖析
像素空间生成模型现在可以把输出细节的细分程度与全局注意力的序列长度分开调节，而不必用同一张图块网格同时决定两者。 此前的像素空间生成器把每个空间图块当作一个token，缩小图块以增加细节就会同步拉长全局序列；多尺度、高效注意力与频域滤波等路线压缩或限制通信，但输出细节仍绑在空间图块网格上。 在ImageNet-512上，W256/K4把FID从同算力对照JiT-CM的11.98降到9.14，同时GFLOPs为135.64、低于对照的141.21；该配置比JiT-B/16高0.69 FID，但成本低38.2%、吞吐更高。
每个槽位在生成前就拿到固定的频域角色，角色本身决定它是否有资格参与跨锚点的全局交换。 此前的全局—局部拓扑按窗口、少量全局token或学习到的稀疏模式来缩短序列，通信资格不来自token固定的输出角色。 在ImageNet-256的W256/K4配置上，只把进入全局阶段的槽位从最低频那组换成第1、2、3组，平均FID分别变为6.91、7.21、6.97，均高于最低频载体的6.59，分配、图结构与算力保持不变。
同一批槽位状态还能在像素空间直接读出，为频域预测补上一项局部修正，而不增加token数或注意力边。 只用频域基或只用空间基时，最佳单基变体的FID为6.99；双基混合把FID进一步降到6.59，低0.40。 该对比在ImageNet-256的同一谱域输出设置下测得，混合版本没有增加token，也没有增加跨锚点注意力边。
启示与展望
已展示的范围是ImageNet-256与ImageNet-512的类条件生成，以及迁移到文本条件的文生图评测；评测用50步Heun采样、每模型扫描得到的最佳无分类器引导系数，ImageNet主结果取五个独立训练种子的均值。
作者指出，ImageNet-512上更大的领先幅度与锚点内分配机制一致，但这些操作点本身并不能分离出领先幅度变大的原因；在固定token预算下偏向更多空间锚点的趋势也只在所测范围内成立，作者未声称其可外推。