深度学习优化——He 初始化法

1 背景

He初始化是由何凯明等人提出的一种具有较强稳定性的神经网络参数（W）初始化技术，该方法能够确保信息在正向传播与反向传播过程中实现高效传递，从而使得各层输入信号的方差保持相对均衡。

该初始化方式主要适用于非线性激活函数，例如Relu与Prelu等。

研究方法概述

任意层级的参数权重

设定参数为均值为零，方差为

采用高斯分布作为初始化方式，有助于维持各层输入的方差尺度保持一致。

 def initialize_parameters_he(layers_dims):

    
     np.random.seed(3)
    
     parameters = {}
    
     L = len(layers_dims) # 网络层数 
    
     for l in range