深度学习的SuperViT模型

这篇文章是一篇于今年发布的有关Transformer模型的研究论文。文中研究者提出了一种ViT的改进版本，即SuperViT，其主要创新点包括两个方面：一是引入了多尺度输入机制；二是设计了Token-keeping-rate控制策略。通过开展多项实验验证，研究结果表明SuperViT在计算资源消耗与识别准确度方面均展现出优于Swin-T模型的性能表现！

参考文献：
①源码
②Transformer学习(四)—DeiT
③各类Transformer都得稍逊一筹，LV-ViT：探索多个用于提升ViT性能的高效Trick

Super Vision Transformer架构解析

• Abstract
  • 1 Introduction
  • 2 Related Work
  • 3 Methodology