《机器学习在行动》支持向量机(SVM)算法笔记

支持向量机（Support Vector Machine）

数理证明

预备知识：拉格朗日乘数法、对偶性问题、核方法

拉格朗日数乘法

所探讨的问题属于约束优化范畴：

示例：

    已知x>0,y>0,x+2y+2xy=8,则x+2y的最小值__。
    
    
      
    

解：

通过引入参数\lambda，构建目标函数L的表达式为：x+2y+\lambda(x+2y+2xy-8)

对变量x、y以及\lambda分别进行偏导运算：
L_x = 1+\lambda(1+2y)=0\\ L_y = 2+\lambda(2+2x)=0\\ \ \ \ \ \ \ L_\lambda = x+2y+2xy-8=0\\
该方程组包含三个未知数，分别为x、y和\lambda，通过求解可得x=2，y=1。

由此可知，在x=2且y=1的情况下，表达式x+2y取得的最小值为4。

对偶问题分析

用于将优化问题进行形式上的转换

例如：将最大化最小值问题转化为最小化最大值问题

通常情况下，约束优化问题呈现出弱对偶关系，而当满足KKT条件时，该问题则具备强对偶关系，此时两种形式可视为等价。