工程优化中牛顿法缺陷及拟牛顿法（DFP/BFGS/L-BFGS）附Python代码实现

文章结构概览

• 引用

  • 基础知识

  • • 梯度
    • 海森矩阵(Hessian matrix)
    • 雅可比矩阵(Jacobian matrix)
    • 泰勒定理(Taylor's theorem)
    • 牛顿法(Newton’s method)
    • 正定矩阵
    • Sherman–Morrison公式

  • 拟牛顿法(Newton's method)

  • • 牛顿法的两个方面

    • 牛顿法在优化问题中的不足之处

    • 对牛顿法的改进措施

    • • 阻尼牛顿法
      • 正则化的海森矩阵

    • 拟牛顿条件

    • • 拟牛顿法：DFP方法的实现方式
      • 拟牛顿法：BFGS方法的实现方式
      • 拟牛顿法：L-BFGS方法的实现方式
      • • 三种拟牛顿法实现方式的测试代码

引用

【>

Wikipedia:Quasi-Newton method

• 本文后续所涉及的所有代码资源，因码云平台的链接需注册账号方可访问，故将相关代码文件备份至Gist平台以便查阅。[点此查看](https://gi