FBNetV5是一种高效的自监督网络架构搜索方法，在多任务场景中表现出色

Paper地址：https://arxiv.org/pdf/2111.10007

前言

网络结构搜索（NAS：Neural Architecture Search），主要的Motivation有两点：

• 基于特定任务场景和部署平台需求，在模型架构中推进精度与速度权衡优化。
  • 推动架构探索和优化流程的自动化实施, 降低人工投入和计算资源消耗, 提高整体运营效能和生产力水平.

但影响NAS方法可泛化、普遍应用 的主要原因包括：

当前NAS工作主要致力于图像分类任务的研究，并认为最优模型不仅适用于该任务本身也可作为其他任务（如目标检测与分割）的有效Backbone。然而这一研究方向存在一定的局限性易导致迁移应用效果的次优状态；
某些特定的NAS方法仅针对与目标任务相关的组件进行优化而无法显著提升其他领域性能。例如在现有研究中如FCOS网络仅对其所涉及的FPN等组件进行了Proxyless架构优化但尚无法满足多领域应用的需求；
目前主流的研究多采用Proxyless方式（如ProxylessNASFBNetV1等）这使得需要将这些网络整合到具体目标任务的训练Pipeline中从而带来了较为繁重的技术开发负担当采用Supernet预训练策略时还需根据不同目标需求分别进行参数共享式的训练这会带来一定的计算开销；

**FBNetV5