SVM原理推导过程及SMO算法与Kernel的理解

一、支持向量机（Support Vector Machines, SVM）

原理： 通过确定与分隔超平面距离最近的数据点，使这些点与分隔面之间的间隔最大化。

超平面（hyperplane）： 用于决策的边界，一般形式为w.T*x+b=0。以二维情形为例，可以理解为：

w.T*x+b=0 等价于 w1x1+w2x2+b=0，这在平面直角坐标系中对应着一条直线。

间隔（margin）： 数据点到分隔平面的距离。

支持向量（Support Vector）： 那些处于分隔超平面附近、对分类结果具有决定性影响的数据点。

分类器：

hw,b(x) = g(w.T*x+b)

当z≥0时，g(z) = 1

当z<0时，g(z) = -1

函数距离与几何距离的对比分析

1. 函数距离： γ(i) = y(i)(w.Tx(i)+b), y(i)∈{-1, 1} （点(x(i), y(i))的函数距离）

当w.T*x+b>0时，y(i)=1，此时