人工智能教程 - 数学基础课程1.7 - 最优化学法4-7：最优化学路第二步的核心、约束条件、KKT

最优化思路第二步核心

Determination of a search direction d_k:

该方法的核心原理在于函数f(x)在点x_k附近的局部泰勒展开：

f(x_k+\delta)=f(x_k)+\nabla^T f(x_k)\cdot \delta +\frac{1}{2}\delta^T\nabla^T\nabla^2 f(x_k)\cdot \delta+O(\|\delta\|^3)

• 最速下降法：d^{\,}_k = -\nabla f(\bm{x}_k), 即 d^{\,}_k = -\bm{g}(\bm{x}_k)
  • Newton方法：d^{\,}_k = -[\nabla^2 f(\bm{x}_k)]^{-1} \bm{g}(\bm{x}_k)

约束条件，KKT

Constraint Optimization: The Karush-Kuhn-Tucker(KKT) Conditions

很多情况下，什么也没有，无参考/有约束条件是没有意义的。

The constrained mathematical programming problem aims to achieve an optimal solution by minimizing f(x). It is sub