Advertisement

caffeLayer 解读:BatchNorm 和 Scale 的解读

阅读量:
  • 该层类型为BatchNorm
  • 包含目录路径:./include/caffe/layers/batch_norm_layer.hpp
  • 运行源代码路径:./src/caffe/layers/batch_norm_layer.cpp
  • CUDA GPU运行源代码路径:./src/caffe/layers/batch_norm_layer.cu
  • 该层的作用是对批次数据实施归一化处理(Normalization)。

  • 层类型为:Scale
  • 包含头文件路径为:./include/caffe/layers/scale_layer.hpp
  • 运行来源代码路径(CPU)为:./src/caffe/layers/scale_layer.cpp
  • 运行来源代码路径(CUDA GPU)为:./src/caffe/layers/scale_layer.cu
  • 该层的主要作用为实现比例缩放功能。

为什么BatchNorm要和Scale结合起来使用

首先,在批注论文中这一操作旨在实现以下功能:

  1. 对输入数据执行归一化处理:x_{\text{norm}} = \frac{x - \mu}{\sigma}, 其中\mu\sigma分别表示数据的累积均值与标准差,并且同时包含滑动衰减因子的影响。
    2)通过对归一化后

全部评论 (0)

还没有任何评论哟~