A ConvNet (2020年代版) 的详细解析

前言

在前文已经介绍了MobileNet系列的发展历程，从V1到V3版本经历了诸多优化，整体性能也呈现出逐步提升的趋势。然而，这些优化主要集中在block结构的改进上，而这一特性使得该block能够直接应用于其他backbone架构，并且依然保持良好的表现。在今年初阅读的一篇论文中，我便对其内容产生了浓厚兴趣，并深入分析了当前卷积网络与transformer之间的竞争态势，这进一步坚定了我对卷积结构的信心。该论文中也提及了之前block部分的一些调整内容。不过需要指出的是，这些调整并非出于轻量化的目的，以下将对相关内容进行简要总结。有兴趣的读者可以参考我之前发布的相关文章：MobileNet系列（万文长字详细讲解，一篇足以）。

Introduction

ConvNets在计算机视觉领域占据主导地位并非偶然，这源于在诸多实际应用中，滑动窗口策略本身就是视觉处理的核心特征，尤其是在处理高分辨率图像时。ConvNets具备一些固有的归纳偏置，使其能够很好地适应多种计算机视觉任务。其中最为关键的一点是平移不变性，这对于诸如对象检测等任务而言是一个非常理想的特性。此外，ConvNets还具有高效计算的优势，这得益于滑动窗口方式所带来的计算共享机制。多年来，在有限的对象分类任务中，这些特性使ConvNe