神经网络基础 神经网络基础 神经网络基础

神经网络基础概述

• 1. 神经网络基本概念

  • • 1.1 神经元结构

    • 1.2 感知机模型：

    • 1.3 网络架构组成

    • • 关于网络参数的解释：
      • 网络中的计算过程

    • 相关资料链接：

  • 2. 激活函数类型
  • • 2.1 sigmoid 函数
    • 2.2 tanh 函数
    • 2.3 ReLU 函数
    • 2.4 Leaky ReLU 函数
    • 2.5 Parametric ReLU 函数
    • 2.6 Maxout 函数
    • 2.7 Swish 函数
    • 总结部分：
  • 3. 正则化技术在深度学习中的应用：
  • • 3.1 L1 和 L2 正则化方法
    • 3.2 其他相关策略
  • 4. 深度模型优化方法

  • • 4.1 自适应学习率算法类

    • • 4.1.1 Momentum 方法
      • 4.1.2 AdaGrad 方法：
      • 原文此处存在编号错误，应为：4.1.3 RMSProp 方法
      • 原文此处存在编号错误，应为：4.1.4 Adam 方法

    • 关于 batch norm 层的介绍

    • 关于 layer norm 层的介绍