跳到主要内容
检索

# 角色耦合分词

1 篇关联报道

订阅更新
  1. arXiv

    像素空间生成模型不再让细节拖累全局注意力:低频槽位当载体,512分辨率FID降2.84

    像素空间生成模型把整幅图像切成图块送入Transformer,图块越细,全局注意力的二次开销越大,细节与通信成本被同一张网格绑死。SpecSlot把每个空间锚点展开成若干槽位,每个槽位固定负责一组互不重叠的DCT系数,只让负责最低频那组的槽位进入全局阶段,其余槽位只在锚点内局部交互。在ImageNet-512上,W256/K4配置比同算力的JiT对照FID低2.84、GFLOPs少3.9%,比JiT-B/16高0.69 FID但成本低38.2%。

已读完全部报道