Mxnet残差网络(17)

理论上，引入额外的网络层有助于减少误差，然而在实际操作中，当层数增加到一定程度时，训练误差反而可能出现上升趋势。即便借助批量归一化技术所提升的数值稳定性，使得深层模型的训练过程更加顺畅，此类问题依然难以彻底解决。为应对这一挑战，何恺明等人研发出残差网络（ResNet）这一创新结构。

1 残差块

通过观察下图可以更直观地理解残差概念，假设输入为 x ，我们期望学习到的理想映射关系为 f(x) 。

• 在左侧区域，虚线框所包含的组件需要直接学习映射函数 f(x) 。
  • 在右侧区域，虚线框所包含的组件则需拟合与恒等映射相关的残差映射 f(x) - x 。

只要将右图中虚线框上方加权运算（如仿射变换）的权重与偏差参数调整为0，则函数 f(x) 将退化为恒等映射。在实际应用中，当目标映射 f(x) 接近恒等映射时，残差映射能够更有效地捕捉恒等映射中的微小变化。

右图所示结构构成了ResNet的基本单元，即残差块（residual block）。在该结构中，输入信号可通过跨层连接的路径实现更高效的前向传播过程。实践表明，残差映射相较于原始映射更易