工程优化共轭方向法与共轭梯度法实现(Python代码)

文章目录

• 引用

  • 基础知识

  • • 梯度与梯度下降方法
    • 矩阵（半）正定性
    • 线性方程组求解
    • 正交向量概念
    • 共轭方向及其集合
    • 牛顿法（Newton's method）

  • 共轭方向法

  • • 从几何角度阐释共轭方向法的优势

    • • 对共轭方向的认知
      • 避免出现锯齿状路径问题

    • 共轭方向法的数学理论依据

    • • 共轭方向法的运算效率分析
      • 一维搜索特性：构成共轭方向法算法理论的核心

    • 共轭方向法的共轭梯度法（Conjugate gradient method）实现方式

    • • 共轭方向法与共轭梯度法之间的联系
      • 利用梯度生成一组相互共轭的方向向量
      • 借助共轭梯度法进行迭代计算以求解问题

    • 与梯度下降方法的对比分析

    • • 非二次模型下的泛化表现能力

引用

Wikipeidia:Conjugate gradient method

Preliminaries

梯度与梯度下降解析

1. 针