像素空间生成模型不再让细节拖累全局注意力:低频槽位当载体,512分辨率FID降2.84
像素空间生成模型把整幅图像切成图块送入Transformer,图块越细,全局注意力的二次开销越大,细节与通信成本被同一张网格绑死。SpecSlot把每个空间锚点展开成若干槽位,每个槽位固定负责一组互不重叠的DCT系数,只让负责最低频那组的槽位进入全局阶段,其余槽位只在锚点内局部交互。在ImageNet-512上,W256/K4配置比同算力的JiT对照FID低2.84、GFLOPs少3.9%,比JiT-B/16高0.69 FID但成本低38.2%。