深度学习模型

文章结构概览

• • 1. 常见的神经网络

    • 2. 全连接神经网络

    • • 2.1. 神经元
      • 2.2. 激活函数
      • 2.3. 参数初始化
      • 2.4. 前行传播(Forward propagation,FP)计算结果
      • 2.5. 反向传播(Back propagation,BP)更新权值
      • 2.6. 全连接神经网络的一次batch训练过程

    • 3. 损失函数

    • • 3.1. 交叉熵作为损失函数

    • 4. 优化方法

    • 5. 过拟合的应对

    • • 5.1. 增加数据量
      • 5.2. 规则化项(正则化项)
      • 5.3. dropout操作
      • 5.4. 提前终止
      • 5.5. 批标准化

    • 6. 梯度消失与梯度爆炸

人工神经网络作为一种模型，其配套组成部分还包括损失函数与优化方法，这三者共同构成了统计学习方法中不可或缺的核心要素：模型、策略以及学习方式。

从广义角度而言，深度学习指的是借助神经网络进行的学习过程。然而，严格意义上讲，只有具备非线性深层结构的神经网络才能被定义为深度学习。由于线性结构无法完成异或运算等复杂任务，近期的研究不断拓展了神经网络在