AutoFormer——Vision Transformer的One-shot NAS

Paper地址：https://arxiv.org/abs/2107.00651

GitHub地址：GitHub - microsoft/Cream: comprises a series of studies on our network architecture, particularly focusing on automated machine learning and vision transformer models.

前言

Bert/Transformer架构 已经成为在自然语言处理 语音识别 以及多模态匹配等领域中被广泛采用为主流架构 的一种设计模式 现今 视觉领域的模型逐步向Transformer架构靠拢 本文针对视觉领域中的Transformer提出了一种名为AutoFormer 的方法 这种方法以权重纠缠机制为基础 是一种One-Shot NAS方法 经过充分预训练构建 的