批标准化(Batch Normalization, BN)

文章目录

• • 批标准化(Batch Normalization, BN)
    • • 推理阶段
      • 梯度反向传递过程
      • 卷积神经网络中的批标准化应用

批标准化(Batch Normalization, BN)

在深度神经网络的训练过程中，梯度消失现象是一个常见问题，而激活函数往往是导致这一问题的关键因素。以sigmoid函数为例，当自变量接近0时，其导数值较大；然而，当自变量数值增大或减小时，导数会逐渐减小。如果输入数据主要集中在极小或极大的区域，微小的导数值就可能导致梯度消失的问题（梯度消失的具体原因与激活函数的导数密切相关，这需要结合反向传播算法的推导过程进行分析，相关内容可参考我的另一篇blog)。例如，在数据分布远离0的情况下，如20和200这两个数值之间相差10倍，在经过sigmoid激活函数处理后，输出结果几乎趋于一致（通过torch.sigmoid()计算得出的结果均为1. ，表明它们之间的差异极其微弱）。这种强烈的非线性特性使得数据原本存在的差异难以被保留下来。为了解决上述问题，批标准化技术应运而生。

批标准化的核心理念是将数据调整至接近0的位置，并使其满足均值为0、方差为1的标准正态分布。在此基础上，一些人可能会联想到类似的方法，如Z-Score标准化。实际上，批标准化与Z-Score标准化存在