caffeLayer 解读:BatchNorm 和 Scale 的解读
发布时间
阅读量:
阅读量
- 该层类型为BatchNorm
- 包含目录路径:./include/caffe/layers/batch_norm_layer.hpp
- 运行源代码路径:./src/caffe/layers/batch_norm_layer.cpp
- CUDA GPU运行源代码路径:./src/caffe/layers/batch_norm_layer.cu
- 该层的作用是对批次数据实施归一化处理(Normalization)。
- 层类型为:Scale
- 包含头文件路径为:./include/caffe/layers/scale_layer.hpp
- 运行来源代码路径(CPU)为:./src/caffe/layers/scale_layer.cpp
- 运行来源代码路径(CUDA GPU)为:./src/caffe/layers/scale_layer.cu
- 该层的主要作用为实现比例缩放功能。
为什么BatchNorm要和Scale结合起来使用
首先,在批注论文中这一操作旨在实现以下功能:
- 对输入数据执行归一化处理:x_{\text{norm}} = \frac{x - \mu}{\sigma}, 其中\mu和\sigma分别表示数据的累积均值与标准差,并且同时包含滑动衰减因子的影响。
2)通过对归一化后
全部评论 (0)
还没有任何评论哟~
