Deep learning normalization (Chapter 11)

文章结构概览

• • 何为归一化
    • 容易产生混淆的概念——标准化
    • 归一化的目的与意义
    • 批量归一化方法
    • 权重归一化技术
    • 总结归纳

本次学习的内容是一个较为基础的知识点：归一化处理

归一化概念解析

归一化（Normalization）： 是一种无量纲化的处理方式，即将原本带有量纲的表达式通过一定的转换方法，转化为无量纲的标量形式。通常情况下，两个具有不同度量单位的物理量之间无法直接进行比较，但若先将其单位去除，转化为标量形式后，则可以实现有效的对比。归一化的主要功能在于归纳样本数据的统计分布特性；其操作过程是通过特定算法将数据限制在（0，1）或（-1，1）区间内。其中，将数据约束至（0，1）区间主要用于描述统计样本的概率分布情况；而限制到（-1，1）区间则更适用于分析统计样本的坐标分布特征。

常见的归一化方法之一为Rescaling (min-max normalization) 线性归一化：适用于数据分布较为集中的情形
x^\prime=\frac{x-\min(x)}{\max(x)-\min(x)}

无论是在计算过程中还是在模型构建阶段，首要步骤通常是针对样本数据进行预处理。这一过程要求所有样本的数据度量单位保持一致，否则将难以开展有效的统计分析工