常见激活函数及优缺点 面试篇

直入主题，进入问答环节。

问：激活函数的定义是什么？
在构建多层神经网络结构时，上层节点所产生的输出与下层节点所接收的输入之间存在某种数学映射关系，这种映射关系即被称作激活函数。

问：激活函数的作用体现在哪些方面？
倘若不存在激励函数，那么每一层节点所接收到的输入将始终是上一层输出的线性表达形式。无论神经网络包含多少层级，其最终输出结果都将等同于输入数据的线性叠加，这实际上与未引入隐藏层的单层网络无异，从而显著限制了整个网络的学习能力。
深度学习的核心特征在于：具备多层级结构以及非线性特性。多层级的设计是为了提升模型对复杂模式的学习能力；而缺乏非线性特性则会导致多层级结构退化为简单的线性叠加形式，甚至连异或问题都无法解决。
有兴趣深入了解相关内容的读者可参考以下文章：为什么神经网络需要解决多层和非线性问题

问：请简要介绍你了解的激活函数类型，并说明其特点及优缺点。

sigmoid函数特性分析

f(z) = \frac{1}{1+e^{-z}}
特性：
该函数可以将输入的连续实数值转换为介于0与1之间的输出结果。具体而言，当输入值为极大负数时，对应的输出结果趋近于0；而当输入值为极大正数时，输出结果则趋近于