SVM深入掌握：SVM目标函数的对偶优化推导

文章源自pluskid在2010年于“Machine Learning”栏目中发表的内容，本文仅进行编辑处理。

1.SVM的数学原理

上一次在讲解支持向量机时，最终提及了Maximum Margin Classifier，但始终未对“支持向量”这一概念作出具体说明。此时不妨回顾前次课程中所展示的最后一幅图像：

从图中可以观察到，有两个超平面分别支撑着中间的 gap，这两个超平面与中间的 separating hyper plane 的距离保持一致（不妨思考一下：为何这个距离必定相等？），这正是我们所能获得的最大 geometrical margin 。

显而易见，由于这些 supporting vector 正好位于边界上，因此它们满足以下条件：yi(wx+b)=1

（还记得我们之前将 functional margin 设定为 1 吗？），而对于所有非支持向量的点，即处于“阵地后方”的点，则显然满足 yi(wx+b)>1 。**实际上，在最优超平面确定之后，这些后方的点便变得无关紧要了，它们可以在自己的边界后方随意移动，而不会对超平面造