ReLUs及其变体包括Leaky ReLUs、PReLUs和RReLUs

“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。

sigmoid与tanh属于“饱和激活函数”，而ReLU及其衍生形式则被归类为“非饱和激活函数”。采用“非饱和激活函数”的优势主要体现在两个方面：

1. 首先，此类函数能够有效应对所谓的“梯度消失”现象。
2. 其次，它们有助于提升模型的训练效率，缩短收敛所需的时间。
   Sigmoid函数的作用是将任意实数值映射到[0,1]区间内，其数学表达式为：
   σ(x) = 1 / (1 + exp(−x))
   tanh函数则用于将输入的实数值压缩至[-1, 1]区间，其公式可表示为：
   tanh(x) = 2σ(2x) − 1

ReLU函数特性分析

ReLU函数所表示的是一种被称为“修正线性单元”的数学结构，其本质是针对输入矩阵x中的元素(x,o)进行最大值运算。该函数的作用机制在于将矩阵x中所有小于零的数值置零，而对正值则保持不变。由于ReLU函数的计算过程发生在卷积操作之后，因此它与tanh函数和sigmoid函数一样，被归类为“非线性激活函数”。这一概念最初由Geoff H