约束优化的KKT条件、拉格朗日对偶法与内外点罚函数法

文章结构概述

• • 1 KKT条件
    • • • 1.1 KKT条件的定义

    • 1.2 具有等式约束的最优化问题（Lagrange乘数法）

    • 1.3 存在不等式约束的最优化问题

    • 2 拉格朗日对偶方法

    • • • 2.1 基本问题

    • 2.2 对偶形式的问题

    • 2.3 原始问题与对偶问题之间的关联性

    • 2.4 对偶上升方法

    • 2.5 对偶分解方法

    • 3 内外点罚函数方法

    • • • 3.1 外点罚函数方法

    • 3.2 内点罚函数方法

    • 4 参考文献

KKT条件解析与应用

1.1 什么是KKT条件

针对包含等式与不等式约束的常规最优化问题\begin{aligned}&minf(\bold x) \\ &s.t.\;g_j(\bold x)\leq0(j=1,2,\dots ,l)\\ &\;\;\;\;\;\;h_k(\bold x)=0(k=1,2,\dots ,m)\end{aligned}，Karush-Kuhn-Tucker条件提供了一种验证\bold x^*是否为极值点的必要标准。具体而言，该条件体系表述如下：$\begin{aligned}&\frac{\partial f}{\partial x_i