Training data-efficient image transformers & distillation through attention

该视觉Transformer网络（拥有86 million parameters）在ImageNet基准测试中实现了83.1%的top-1分类精度，并且其蒸馏版本则进一步实现84.4%的top-1准确率。相比ViT、RegNet以及ResNet等主流模型而言，在保持高效计算的同时展现出显著的优势。已正式开源该模型代码

注：文末附【Transformer】学习交流群

Data-efficient training of image transformer architectures and attention mechanisms in the context of distillation

• 作者单位：Facebook AI Research及索邦大学所属机构。注释表明其中一人亦为DETR核心成员。
• 代码（不足一日即达近200颗星）：参考Gi