机器学习（深度神经网络）

文章目录

• 核心概念

  • 对人工神经网络的基础知识进行阐述
    • 神经单元的功能与行为特性研究
    • 当人工神经网络层数超过两层时，则被定义为人工深度 neural network。

• 感知器及其对应的 neural network

  • • 感知器

    • 神经网络

    • 为 neural network 建立符号表示法

    • • 单个 neural unit 的数学模型
      • 一层 neural unit 的数学表达式

    • 神经网络计算流程

• 激活功能
  为何引入非线性激活功能必要
  主流 activation功能种类
  activations and their derivatives
  sigmoid function
  tanh function
  ReLU及其变种 Leaky ReLU

  • 如何训练神经网络
  • • 反向传播的理解
    • 计算图
    • • 计算图的导数

• 在人工神经元模型中应用了基于梯度的方法。

  • 针对人工神经元模型的信息传递机制展开描述。
  • 详细阐述了针对人工 neural 模型的信息传递机制的具体数学表达。

• 总结

• 神经网络的优化