[工程优化]梯度下降:SGD/BGD,牛顿法:Newton's method,并附详细代码

文章结构概述

• 引用

  • 基础知识

  • • 目标函数/代价函数/损失函数/误差函数

    • 局部极值、全局极值与驻点、鞍点

    • 导数与偏导数、梯度

    • • 常见函数的梯度及海森矩阵

    • 方向导数与下降方向

    • 凸函数在梯度基础上的预测

    • • 海森矩阵(Hessian matrix)
      • 雅可比矩阵(Jacobian matrix)
      • 曲率预测

    • 微分学中的三大中值定理

    • • 罗尔中值定理
      • 拉格朗日中值定理
      • 柯西中值定理

    • 泰勒定理

  • 梯度下降(Gradient Descent)

  • • 下降更新过程

    • 下降步长对梯度下降的影响分析

    • • 基于"成功-失败法"的梯度下降步长搜索策略

引用

Wikipedia:Gradient descent
[Wikipedia:Newton’s method](https://en.wikipedia.org/wik