深度学习吴恩达课程笔记（四）——优化算法部分

笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~

【吴恩达课程笔记专栏】
【深度学习】吴恩达课程笔记(一)——深度学习概论、神经网络基础
【深度学习】吴恩达课程笔记(二)——浅层神经网络、深层神经网络
【深度学习】吴恩达课程笔记(三)——参数VS超参数、深度学习的实践层面

吴恩达课程笔记——优化算法

• 八、优化算法

  • • 1.优化算法介绍

    • 2.批量梯度下降（Batch Gradient Descent）

    • • 目的
      • 步骤
      • 优点
      • 缺点

    • 3.随机梯度下降（Stochastic Gradient Descent, SGD）

    • • 目的
      • 步骤
      • 优点
      • 缺点

    • 4.小批量梯度下降（Mini-batch Gradient Descent）

    • • 目的
      • 步骤
      • 优点
      • 缺点
      • 理解
      • 如何选择mini-batch size

    • 5.指数加权平均数（Exponentially Weighted Averages）

    • • 目的
      • 步骤
      • 优点