A detailed explanation of common activation functions in the torch.nn module
发布时间
阅读量：
阅读量
激活函数
-
- 常见的激活函数类型
-
- 激活函数的数学表达式及图像展示
- 2.1 Sigmoid激活函数
- 2.2 Tanh激活函数
- 2.3 ReLu激活函数
- 2.4 LeakyReLU
- 2.5 Softplus激活函数
-
引用文献
1. 常用的激活函数
在PyTorch框架中，内置了十余种与激活函数层相关的类，其中较为常见的一些激活函数及其对应功能如表1所示。
表1 常用激活函数操作
| 名称 | 层对应的类 | 功能 |
|---|---|---|
| S型激活函数 | torch.nn.Sigmoid |
Sigmoid激活函数 |
| 双曲正切函数 | torch.nn.Tanh |
Tanh激活函数 |
| 线性修正单元函数 | torch.nn.ReLu |
ReLu激活函数 |
| ReLu函数变体 | torch.nn.LeakyReLu |
LeakyReLu激活函数 |
| 平滑近似ReLu函数 | torch.nn.Softplus |
ReLu激活函数的平滑近似 |
2. 激活函数计算公式及其可视化
2.1 Sigmoid激活函数
torch.nn.Sigmoid()所对应的激活函数为Sigmoid函数，其亦被称为logistic激活函数。
**Sigmoid函数的数
全部评论 (0)
还没有任何评论哟~