吴恩达深度学习：激活函数

四种常用激活函数概述

（1）sigmoid函数特性分析

• 该函数的数学形式可表示为：a=\frac{1}{1+e^{-z}}
  • 对应的导数表达式为：g^{'}(z)=a(1-a)

(2)tanh函数特性分析

- 该函数的数学表达形式可表示为：a=\frac{e^z-e^{-z}}{e^z+e^{-z}}
- 关于导数的计算结果为：g^{'}(z)=1-a^2

（3）ReLU函数特性分析

- 该函数的数学形式表示为：a=max(0,z)
- 关于其导数的计算：

![这里写图片