机器学习的典型激活函数

在感知器架构、神经网络框架以及深度学习体系中常见的是激活函数的影响。其别称包括转换机制、激励单元、传递过程或边界限制等。它主要负责将输入信号从无限范围压缩到一个特定区间输出，并模拟生物神经元的非线性特性。

常见的激活单元类型包括：线性变换（如恒等映射）、斜边上升/下降模型（如斜坡）、门限响应模型（如阶跃）、符号决策机制（如符号）、S型曲线模型（如Sigmoid）、双曲正切变换（如Tanh）、光滑对数单位（Softplus）、阈值加法器（Softsign）、修正线性单元及其变体形式（ReLU）以及最大池化变换（Maxout）等。

线性函数

线性函数是最简单的激活函数：

其中 y为输出值，x为输入信号的加权和， k是一个常数，表示直线的斜率。

在深度学习框架中，默认情况下线性函数通常未被采用。这一特性使其无法充分展现其实质。例如，在一个包