深度学习（五）：解决梯度消失问题的方法

1. 什么是梯度消散？

如下图u所示，当采用sigmod函数时，若z的数值过大或过小，会观察到梯度（斜率）趋于水平线，最终趋近于零，这种现象即为梯度消失。

2. 解决方法

思路一

• 采用ReLU函数的原因在于，当输入值z小于0时，其输出恒为0；而当z大于0时，输出等于z本身，从而形成一条45度的直线，此时梯度保持不变，避免了梯度消失的问题
  • 具备非饱和特性的激活函数
    • Leaky ReLU
      如上图所示，该函数针对ReLU在输入值小于0时的缺陷进行了改进，需要自行编写实现代码

• el