Mish and β-Mish activation function

Mish

论文：Mish: A Self Regularized Non-Monotonic Activation Function

年份：2020

从激活函数的理论研究角度分析发现了一类具有一致特性的新激活函数形式

Mish的导数公式为：
f^\prime(x) = \frac{e^x (4(x+1)+4e^{2x}+e^{3x}+e^x(4x+6)}{(2e^x+e^{2x}+2)^2}

Mish的曲线与导数曲线如下图所示。

从图中可以看出Mish展现出一种平滑且连续的激活函数特性。
该激活函数既存在下界、也无明确边界定义，并具有[\approx-0.31, \infty]的大范围输出。
Mish凭借其内部门控特性，在保留少量负面信息的同时成功消除了死亡ReLU问题。
这种设计使得Mish能够有效防止梯度消失现象的发生。
由于Mish具备良好的连续可微性特征，在处理奇异性点时表现更为稳定。
其平滑过渡有助于优化过程更加顺畅。

\beta-Mish激活函数

该研究探讨了Beta及Alpha正则化器在Mish激活函数中的作用，在深