NetAug: Boost model's training performance

Paper地址：https://arxiv.org/abs/2110.08890

前言

当深度学习模型的参数规模较大甚至超过数据集规模时（如ResNet50与ImageNet2012-1K）时

NetAug（Network Augmentation）则通过强化模型而非依赖于强化数据的方式实现Tiny-model训练效果的显著提升，并帮助Tiny-model缓解过拟合问题（Under-fitting）。与仅通过减少网络深度降低过拟合风险的做法不同的是，在NetAug中我们提升了模型复杂度的同时辅以增强模型训练策略的应用，在这一过程中实现了对Tiny-model参数更新的有效监督

Methods

基于Tiny-model的设计框架中，我们需要构建若干辅助训练模型（Augmented-models）。这种构建方法在一定程度上模仿了权重共享型One-shot NAS架构的特点，在具体实现上则聚焦于Tiny-model的强化提升过程。具体而言，在处理宽度为w的网络层时，我们引入了一个增益超参r（Augmentation factor），通过将其