深度学习-batch normalization

阅读量：

数据经过归一化和标准化处理后可以在收敛速度上得到提升，在实际应用中展现出显著的优势；其主要原因在于Batch Normalization等技术能够显著提升训练效率。此外，在这一改进的基础上还能增强模型对数据分布的适应能力，并在传播过程中保持更高的学习效率的同时更加稳定。

一、什么是归一化/标准化

归一化是一个统计学概念；也可以称之为归一化或规范化；它不是一个严格定义好的数学操作（例如加减乘除）；归一化通常通过数据的偏移与缩放来进行调整，在数据预处理中是一个非常常见的操作；在网络中间层已被广泛使用。

1. 线性归一化

基本概念上讲,**归一化（Normalization）**是将数据限定在固定范围内以确保一致性与可比性。例如常见的8位图像通常使用从 $0$ 到 $2^{8}-1$ 即 $255$ 的像素范围,而其缩放范围通常设定为 $[0,1]$ 区间内。

在线性对比度拉伸这一操作中，在数字图像处理领域具有广泛的应用场景：对于任意给定的像素值x来说，在计算其标准化后的新值时需将该像素值x先与全局最小值相减得到差值d1，并将全局最大值与全局最小值得到差额d2；最后将d1除以d2即可得到标准化后的像素新值。

X=(x-xmin)/(xma

还没有任何评论哟~