深度学习笔记——TensorFlow学习笔记（二）激活函数, 损失函数, 优化算法, 正则项
发布时间
阅读量：
阅读量
本部分内容为TensorFlow学习笔记的第二章节，重点阐述神经网络中涉及的激活函数、损失函数、优化算法以及正则项的相关知识。
1.激活函数
激活函数的作用在于将线性变换转化为非线性变换，神经元的表达形式可表示为：z=f(wx+b)。其中，wx+b是对输入x实施的线性变换，而映射函数f即为激活函数，其功能是将wx+b的计算结果映射至特定范围内的数值，从而实现非线性变换的目标。通过引入激活函数后，神经元具备了学习更加复杂特征的能力。
当前TensorFlow框架中内置了7种不同的非线性激活函数，其中较为常见且广泛使用的包括：tf.nn.relu、tf.sigmoid和tf.tanh这三种类型，上述三种激活函数对应的图像展示如下：
还没有任何评论哟~