最优化理论4.2

带约束最优化

• 1.等价约束条件
  • 2.非等价约束条件
  • 3.优化过程中的对偶性原理
  • • 3.1初始问题形式
    • 3.2对应对偶问题形式

1.等式约束

经典的拉格朗日乘子法用于解决如下形式的最优化问题（其中\boldsymbol{x}表示一个向量）：
\min _{x} f(x)
\text {s.t.} \quad g(x)=0。从直观角度来看，该问题的最优解\boldsymbol{x}_{optimal}应当满足特定条件。以二维变量为例，假设约束条件为g(x,y)=c，这也可以表达为g(x,y)−c=0的形式，如图中所示的约束曲线所呈现。

当等高线与曲线g(x,y)=c存在切点时，极值点即被确定。此时两条曲线的切线方向具有一致性，其法线方向同样保持一致。由此可推导出以下方程组：
$\left{\begin{array}{l} \nabla f(\boldsymbol{x})=\lambda \nabla g(\boldsymbol{x}) \ g(\bo