深度学习—历史发展

深度学习的历史发展

• 1. 引言
  • 2. 人工神经网络的发展历程
  • • 2.1 人工神经网络存在的不足之处
    • 2.2 人工神经网络的三大核心人物
  • 3. 深度学习演进过程中的关键突破事件

  • 参考文献

1. 导语

自本节起，我们将迈入当前最为热门的科技研究方向——深度学习（Deep Learning）。此前我们已提及，自20世纪80年代起，多层神经网络结构被首次引入，该技术在应对机器学习领域中的诸多现实问题方面表现出色。然而，进入20世纪90年代后，人工神经网络的研究却一度陷入停滞状态。这一现象的主要原因在于，20世纪90年代中后期，以支持向量机为代表的一系列新型机器学习模型相继问世，这些方法对传统人工神经网络算法形成了显著的竞争压力。

2. 人工神经网络的历史

2.1 人工神经网络的劣势

与支持向量机相比较，多层神经网络存在的不足之处如下：

• 多层神经网络在数学表达上缺乏简洁性，其优化过程往往只能收敛于局部最优解，模型表现受到初始参数设置的影响较大。
• 多层神经网络具有黑箱特性，通过训练得到的参数难以与具体任务之间建立清晰的对应关系。
• 模型中需要调节的参数种类繁多，例如网络结构中的层数、各层神经元的数量、激活函数的选择、