AttentiveNAS——基于Attentive Sampling提升采样效率

Paper链接：https://arxiv.org/abs/2011.09011

GitHub (PyTorch)：https://github.com/facebookresearch/AttentiveNAS

Two Stage One-shot NAS

基于资源限制的网络架构搜索（NAS: Network Architecture Search），一般而言被定义为以下形式（以计算复杂度衡量为例）：

其中A表示搜索空间，表现为Input Resolution、Kernel size、Width、Depth或Expansion ratio等维度的变化，如下所示（以ImageNet分类模型为例）：

早期NAS方法主要依赖于强化学习（RL: Reinforcement Learning）或进化算法（EA: Evolutional Algorithm），这些方法