计算机视觉知识点-BatchNorm
发布时间
阅读量：
阅读量
2015年所提出的batchnorm技术，或许在网络训练过程中，其重要性仅此于relu这一关键技术。通过结合batchnorm与resnet，使得构建超过100层深度的神经网络结构变得可行。
图中所展示的μ表示当前批次数据的平均值，σ则代表该批次数据的方差。首先将原始数据进行标准化处理，使其均值为0、方差为1，随后引入两个可训练参数γ与β以进一步调整数据分布。
在网络结构中引入batchnorm层后，模型训练过程中的收敛效率将得到明显提升。
batchnorm在全连接层（fc）中的应用情况
全部评论 (0)
还没有任何评论哟~