深度学习原-对问题（六）

本次需要普及的内容是原始问题与对偶问题的相关概念，这一部分内容主要涉及拉格朗日乘数法的应用。梳理这一知识点，主要是为了为后续理解支持向量机这一内容打下基础！

文章结构概览

• • 引言

    • 基础问题

    • 最优解问题

    • 拉格朗日乘数法原理

    • • 举例说明
      • 利用拉格朗日方法解决基础问题

    • 对偶性问题

    • 两者之间的关联性

    • Karush Kuhn-Tucher条件，KKT条件

    • • 举例说明
      • 基础与对偶问题的转换求解方式

    • 总结归纳

引言

原问题，亦称为原始线性规划问题，指的是每个线性规划问题的初始形式。每一个原始问题均可转换为一个与其对称的对偶问题。原问题与对偶问题之间具有相对性，它们属于同一类规划问题，其对应的对偶关系遵循以下一般规则：

• 当原问题为最大化目标时，其对应的对偶问题则为最小化目标；反之，若原问题是最小化目标，则其对应的对偶问题则为最大化目标。
• 在原问题与对偶问题之间，约束条件右侧的常数向量与目标函数中的系数恰好互换位置。
• 对于最小化问题中“≥”类型的约束（对应于最大化问题中的“≤”类型约束），相应的对偶变量需满足非负限制；而对于最小化问题中“≤”类型的约束（对应于最大化问题中的“≥”类型约束），相应的对