深度学习导论

文章结构概览

• 一、深度学习发展历程
  • 二、深度学习概述
  • • 深度学习的实施流程
    • • 1. 确立一个Function作为神经网络的基础结构
      • 2. 明确损失函数的设定
      • 3. 实施优化算法

一、深度学习历史

• 1958年：人们开始意识到人工智能即将出现，这是因为linear model的诞生，它能够解决一些相对复杂的分类与预测问题，当时这一技术被称作Perceptron，即感知器
  • 1969年：有人最终发现linear model存在不足之处，他们研究了为何“坦克与卡车”的图像分类如此精准，结果发现原因在于两组图片的拍摄时间不同，而机器是依据亮度作为特征进行分类的
  • 1980年代：多层感知机被提出，尝试采用多层结构的感知机（其与当前的deep learning几乎无异）
  • 1986年：反向传播算法被引入，但人们发现当层数超过3层时效果并不理想
  • 1989年：有学者提出一个隐藏层就足以拟合任意函数。在这一时期，多层感知机受到诸多批评和质疑，因此人们为其改名为深度学习
  • 2006年：RBM initialization被视为一次重大进展，尽管过程极为复杂且用于梯度下降初始化值，在后续研究中却发现其虽复杂却实用性有限。
    RBM init