TensorFlow的Batch Normalization总结以及tf.identity()和EMA功能分析
发布时间
阅读量:
阅读量
本段代码源自莫烦在tensorflow课程中关于Batch Normalization的讲解部分。在此基础上,我对部分内容进行了注释补充(基于个人理解),并对若干函数的功能进行了说明性描述。
数据规格统一与神经网络学习效果
权重影响与激活函数响应分析
这将导致x的值增大,使得wx趋近于1或-1,此时wx对较大范围的x特征值不再具有敏感性。为应对这一问题,可对输入数据实施归一化处理。
然而,此类现象不仅局限于输入层,因此引入了批量归一化技术。在每次前向传播过程中,需在全连接层与激活函数之间执行归一化操作,以确保数据分布始终处于敏感区间。该方法与SGD相结合使用。
标准化处理与参数计算
自适应标准化参数学习
#=================tf.identity()函数的功能及其与control_dependencies的关系===================
第一种:
x_plus_1 = tf.assign_add(x, 1)
控制依赖与执行顺序
控制依赖执行与参数解析
with tf.control_dependencies([x_plus_1]):
y = x
第二种:
x_plus_1 = tf.assign_add(x, 1)
with
全部评论 (0)
还没有任何评论哟~
