深入解析归一化、标准化、正则化及其Batch Normalization的作用和应用

文章目录

• • • what(是什么)
    • where（用在哪）
    • How（如何用&&原理）
    • • 归一化
  • • 实现方式
    • 原理
    • 示例说明

  • 标准化

  • • 实现方式
    • 原理
    • 示例说明

  • 正则化

  • • 实现方式
    • 原理
    • 作用

  • Batch Normalization

  • • pytorch中的batch normalization
    • 原理
    • BN的作用

归一化、标准化与正则化是机器学习与深度学习领域中的三种常见数据预处理技术；此外，在深度学习领域中经常看到的Batch Normalization也是一种重要的技术；它们分别是什么？它们各自用于何处？如何应用？它们的工作原理又是什么？本文将围绕这些问题展开对比分析，并进行全面解析。

what(是什么)

• 归一化是一种对数据进行统一尺度处理的方法。其结果会使得数据全部落在[0,1]范围内，并且在应用层面能够有效消除不同特征之间的量纲差异。
• 标准化是一种通过方法改变数据整体分布形态的技术手段。其作用在于将原始数据转换为标准正态分布形式，在实际应用中可显著提升模型训练效