KKT conditions --- Karush–Kuhn–Tucker conditions

有关KKT条件，一直都看的云里雾里，但是还是很好奇其内在的逻辑，最后花时间整理了一下，有不足之处请指正。

有关原问题和对偶问题的转化知乎回答解释的更详细。

正文开始之前，介绍一些概念

• Duality，对偶性

（1）比如极大极小问题和极小极大问题就是对偶问题，当把极大极小问题转化成极小极大问题来求解时，得到的最优解分别是d和p，那么最优解之间可能会存在一个差值，叫做duality gap。

（2）当遵循强对偶时，gap值=0，通常在凸问题中；当遵循弱对偶时，对偶值为正，凸问题和非凸问题都存在。

（3）对偶问题的函数表达理解

• Convex optimization，凸优化

（1）在凸集范围内寻找凸函数的最小值时，所得到的局部最优解即为全局最优解（具体原因建议查阅凸函数与凸集的相关定义）。

（2）寻找凸函数的最小值等价于寻找凹函数的最大值。

（3）一阶偏导数等于零是判断优化问题是否达到极值点的一个充分