Advertisement

TensorFlow的Batch Normalization总结以及tf.identity()和EMA功能分析

阅读量:

本段代码源自莫烦在tensorflow课程中关于Batch Normalization的讲解部分。在此基础上,我对部分内容进行了注释补充(基于个人理解),并对若干函数的功能进行了说明性描述。

数据规格统一与神经网络学习效果

权重影响与激活函数响应分析

这将导致x的值增大,使得wx趋近于1或-1,此时wx对较大范围的x特征值不再具有敏感性。为应对这一问题,可对输入数据实施归一化处理。

然而,此类现象不仅局限于输入层,因此引入了批量归一化技术。在每次前向传播过程中,需在全连接层与激活函数之间执行归一化操作,以确保数据分布始终处于敏感区间。该方法与SGD相结合使用。

标准化处理与参数计算

自适应标准化参数学习

#=================tf.identity()函数的功能及其与control_dependencies的关系===================

第一种:

x_plus_1 = tf.assign_add(x, 1)

控制依赖与执行顺序

控制依赖执行与参数解析

with tf.control_dependencies([x_plus_1]):

y = x

第二种:

x_plus_1 = tf.assign_add(x, 1)

with

全部评论 (0)

还没有任何评论哟~