跳到主要内容
检索

# REViT-v2模型

1 篇关联报道

订阅更新
  1. arXiv

    REViT-v2 用窗口化群卷积自注意力把旋转反射等变 ViT 的注意力代价从二次降为线性,并在 ImageNet-1K 上超过旋转翻转增强的 ViT-S 与 RE-ResNet

    作者提出 REViT-v2:把群卷积自注意力限制在局部窗口内(wG-CSA),并用群卷积分词与下采样构建多阶段等变特征金字塔,使旋转反射等变注意力的空间复杂度由图像面积的二次降为线性;在 ImageNet-1K 上,等变 REViT-v2-S 取得 79.27% 与 80.9% 的 Top-1 准确率,高于旋转翻转增强的 ViT-S(72.08%)和 RE-ResNet(77.37%),并在 Rotated MNIST 上以更小的模型、FLOPs、延迟与峰值显存保持约 98.26% 的准确率。

已读完全部报道