跳到主要内容
检索

# 异构精炼

1 篇关联报道

订阅更新
  1. arXiv

    PerF 让像素空间扩散 Transformer 按特征分工:ImageNet 256 上 FID 从 1.86 降到 1.63,参数量仅增约 3.6%

    该工作提出异构精炼(heterogeneous refinement),让像素空间扩散 Transformer 中不同特征组在网络深度上获得不同的精炼预算,从而自发形成“持久特征”(编码全局结构)与“活跃特征”(编码高频细节)的分工,并据此提出 Persistence Forcing(PerF)与 Persistence Guidance(PG),在 ImageNet 256 上将 JiT-B/L/H 的 FID 分别从 3.66、2.36、1.86 降至 2.81、1.91、1.63,在 ImageNet 512 上将 JiT-H/32 的 FID 从 1.94 降至 1.76。

已读完全部报道