ResMLP: Feedforward networks for image classification with data-efficient training

文章目录

• 1. Contributions

• 2. Summary

• 3. Methodology

• • 3.1 Overview of the ResMLP Architecture
• • 3.2 Residual Multi-Perceptron Module
• • 3.3 Analysis of Connections to Vision Transformers
• • 3.4 Class MLP Architecture: Incorporating Class Embeddings

• 4. 实验

• • 4.1 在监督学习场景下对比现有Transformer和convnet模型的表现
• • 4.2 通过知识蒸馏技术提升模型收敛性
• • 4.3 探索基于迁移学习的模型优化策略
• • 4.4 分析知识蒸馏对模型性能的影响
• • • 4.4.1 激活机制
• • • 4.4.2 归一化过程

  • 5. pseduo-pytorch-code

1. Contribution

本文