CV笔记 残差网络的学习

残差网络ResNet结构解析

笔记思路结构化呈现

• 残差网络ResNet
  • • • 一、背景与思考
      • 二、原理及结构
      • • 1.如何实现恒等映射？

    • 2.突破传统思维模式

    • 3.创新思路

    • 4.恒等映射Identity Mapping

    • 5.网络架构与维度设计

    • 6.借助1×1卷积降低参数数量与计算复杂度

      • 三、残差学习具体学习的是什么内容？
      • 四、ResNet究竟针对哪些问题进行优化？
      • 五、ResNet总结要点
      • 1×1卷积

一、背景和思考

神经网络的深度与宽度作为衡量其复杂程度的两个关键参数，其中深度在提升网络复杂性方面具有更为显著的作用（网络层次越深，所能表达的特征信息也越丰富），这也是VGG网络试图通过增加深度来优化模型性能的重要原因。

然而，随着神经网络层数的不断增加，训练难度也随之上升，性能未必能持续提升。当层数达到一定数量时，梯度消失与梯度爆炸现象将不可避免地出现（这是反向传播算法在参数更新过程中产生的结果）。

由于人工设定的参数配置，梯度更易出现消失现象而非爆炸。

尽管归一化BN层已经被广泛应用于缓解梯度问题，那么ResNet的设