单层感知机至 LSTM
发布时间
阅读量：
阅读量
单层感知机
包含输入层、中间隐含层以及输出层面。输入的特征向量经过中间隐含层面进行变换并最终映射到输出层面，在该层面获得分类结果。该网络仅适用于处理较为简单的函数模型。
多层感知机（现在叫神经网络NN）
特点：包含多个隐含层；
使用sigmoid和tanh等连续函数模拟神经元对激励的响应；
使用反向传播BP算法来训练；
摆脱了早起离散传输函数的束缚。
图 1上下层神经元全部相连的神经网络——多层感知机
神经网络的数量直接影响了其对现实的影响程度——通过每一层使用的神经元数量减少来实现对更复杂函数的学习。
层数增加带来的问题**:**
优化函数容易陷入局部最优，偏离真正的全局最优；
性能下降；
“梯度消失”现象严重。
2006年，Hinton利用 预训练方法缓解了局部最优解问题，将隐含层推动到了7层。
DNN深度神经网络
解决梯度消失问题：ReLU和maxout等激活函数取代了传统的sigmoid函数, 从而奠定了当前深度神经网络的基础架构。从结构角度来看,全连接型的深度神经网络与图1所示的多层感知机完全
全部评论 (0)
还没有任何评论哟~