课程：WRN 人工智能导论 笔记

WRN：Wide Residual Networks

摘要

深度残差网络能够使网络深度达到数千层以上，并展现出良好的性能提升效果。然而，在分类精度上每百分之一点的进步却需要付出层数两倍的成本。因此，在训练极其深的残差网络时会面临一个问题：特征利用率逐渐降低导致训练速度显著变慢。针对这些问题本文提出了一种新方法：我们对残差块进行了系统性的实验分析，并在此基础上设计出一种新型架构——宽残差网络（Wide Residual Networks, WRNs）。与传统细长型ResNet相比该架构在保持较窄宽度的同时显著提升了性能表现。具体而言我们构建了一个16层深的WRN模型这一设计不仅在分类精度上超越了现有最深ResNet（包括那些拥有数千层结构）并且在效率方面也实现了质的飞跃；同时该模型在CIFAR、SVHN及COCO数据集上的表现也均达到了当前最先进水平并在ImageNet基准测试中实现了显著性能提升。有关本研究的具体代码可参考GitHub仓库 https://github.com/szagoruyko/wide-residual-networks

摘要（英文）

Deep residual networks demonstrated their capability to scale