Batch Normalization(批量归一化)的功能

较深层神经网络训练时的困扰

在训练过程中，在神经网络中不断有参数通过梯度下降机制被更新以适应当前的任务需求。
当底层网络中的参数发生微小变化时，
由于每一层都包含线性变换和非线性激活映射的作用机制，在深层网络中这种微小变化会被逐层放大；
与此同时，
这些变化会引起各层输入数据分布的变化，
从而使得整个模型的训练变得更加具有挑战性。
这一现象被称为Internal Covariate Shift。

Internal Covariate Shift

在深层网络训练的过程中，Internal Covariate Shift被称作由网络参数变化而导致内部结点数据分布变化的一个机制

Internal Covariate Shift会带来的问题

(1) 为了更好地适应输入数据分布的变化，在上层网络中需要持续进行参数优化。
(2) 在训练过程中，如果神经网络的梯度发生饱和现象，则可能导致收敛速度减慢。

减缓Internal Covariate Shift方法

ICS的根本原因在于参数更新操作导致了网络中各层输入值分布的变化情况，并且随着网络深度增加而变得更为显著。因此我们可以通过固定各层输入值分布的做法来缓解ICS问题。

法一：白化

白化（Whitening）是机器学习领域中一种广泛采用的数据标准化方法，在主成分分析（PCA）