ReLU及其变种分析

卷积神经网络中所采用的ReLU激活函数展现出优异的性能表现，其计算效率较高，能够实现快速运算。

RELU

{f{ \left( {x} \right) } =max{ \left( {0,x} \right) } }

RELU6

函数表达式定义为 f{ \left( {x} \right) } =min{ \left( {max{ \left( {0,x} \right) } ,6} \right) }，其中为何取值为6这一设定显得较为神秘，缺乏明确的理论依据。

ELU

{f{ \left( {x} \right) } =max{ \left( {0,x} \right) } +min{ \left( {0, \alpha { \left( {e\mathop{ {} } \nolimits^{ {x} } -1} \right) } } \right) } }

PReLU

函数表达式可表示为 f{ \left( {x} \right) } =max{ \left( {0,x} \right) } +a∙min{ \left( {0,x} \right) } ，其中参数a具备可学习特性，该设计旨在优化ReLU激活函数在负值区域的表现，属于改进负数区间取值方式的第二种实现路径。