约束优化和拉格朗日对偶问题

文章结构概览

• • 优化问题的类型划分
    • • 按照约束条件进行划分
      • 依据优化目标函数与约束条件进行分类

    • 无约束优化问题

    • • 解决方案的实现途径

    • 具有等式约束的优化问题

    • • 解决方案的实现途径

    • 具有不等式约束的优化问题

    • • 解决方案的实现途径
      • 拉格朗日对偶性问题

优化问题分类

根据约束条件分类

优化问题根据约束条件的不同，可以划分为无约束优化、等式约束优化以及不等式约束优化三种类型。

根据优化函数和约束条件分类

线性规划问题：目标函数呈现线性特征，同时约束条件亦为线性形式；
二次规划问题：目标函数为二次型，而约束条件保持线性特性；
非线性规划问题：目标函数具有非线性属性，约束条件同样呈现非线性结构。

---

无约束优化

例如计算 \min f(x,y)，除了可能存在的定义域约束外，并不存在其他的等式或不等式限制条件。

求解方法概述

依据Fermat定理进行求导运算，当无法获得解析解时，可采用梯度下降法、牛顿法等数值方法加以解决。

等式约束优化方法

在无约束优化问题的框架中引入了若干等式约束条件。例如：
$\begin{aligned} & \min f(x