BatchNorm/BN/LayerNorm/LN知识点

Normalization（归一化）是深度神经网络模型中应用极为普遍的操作之一；深入解析其实现机制、理论基础以及功能作用等内容对于理解其工作原理具有重要意义；本文将以最常见的Batch Normalization（BN）和Layer Normalization（LN）为例展开讨论（其余归一化方法大同小异），采用问答形式深入探讨归一化的细节要点。

1、BN在训练与测试过程中存在显著差异。
2、BN中的滑动平均Moving Average的作用体现在哪里？
3、Momentum参数在滑动平均中的影响如何？
4、Norm过程涉及标准化、平移与缩放三个步骤的作用是什么？
5、不同Norm方法通常会保留哪些关键参数？
6、BN与LN有何异同之处？
7、BERT为何选择使用Layer Normalization而非Batch Normalization？
8、如何深入理解Norm应用于哪个维度？

1、BN在训练和测试时的差异

对于BN，在训练过程中是每个批次的数据进行归一化操作；也就是对每一组批次的数据计算其均值和方差。

而在测试时，在这样的情况下，在训练过程中通过滑动平均获得的均值和方差会被模型权重一起地同时被保存下来。

Batch Normalization（BN）是一种通过将每一批次的数据标准化至同一分布的技术。它通过计算每一批次数据的均值与方差之间的差异，并非固定参数