Facebook提出DeiT模型：利用注意力机制提高数据效率的图像Transformer和蒸馏网络

该视觉Transformers（拥有86 million parameters）在ImageNet上实现了83.1％的top-1准确率。通过蒸馏机制构建的模型在ImageNet上的top-1准确率高达84.4%。其性能超越了ViT、RegNet以及ResNet等主流架构，并宣布代码已开源。

注：文末附【Transformer】学习交流群

Training data efficient image transformers and distillation through attention

• 作者单位：Meta Platforms, 索邦大学（注：其中一员亦是DETR的贡献者之一）
  • 代码（仅用半天时间）：https://github.com/facebookresearch/deit
  • 论文：https://arxiv.org/ab