ResNet（1）相关概念

文章目录

• 一、ResNet 介绍
  • 1.1 ResNet 起源
    • 恒等映射是深度残差网络DRN的重要组成部分
    • 34层深度残差网络的具体架构图可参考相关文献
    • 深度残差网络的架构图采用实线与虚线相结合表示
    • 各个层级之间的关系通过残差学习单元进行连接

二、ResNet 架构概述
* 2.1 ResNet 的基本架构图
* 2.2 核心参数解析
* 2.3 残差分支与恒等分支的对比分析
* 2.4 激活函数的应用顺序探讨

• 三、深度学习发展历程

一、ResNet 介绍

1.1 ResNet 由来

ResNet源自微软研究院kaiming He等四位华人学者的重要研究突破，在ILSVRC 2015竞赛中展现了卓越的表现，并实现了3.57%的最佳验证误差率；其参数规模远低于VGGNet但依然达到了令人满意的水平。 ResNet架构显著提升了超深度神经网络的计算效率，并带来了显著的进步

ResNet最初的概念起源于对神经网络深度增长过程中的一个显著现象：当不断加大网络层数时会经历一个先快速增长后趋于平稳的过程，并最终可能导致预测效果变差的现象。这种现象并非通常所说的过拟合问题，在实际应用中不仅测试集上的性能会出现瓶颈效应，在训练过程中也会出现类似情况。

1