机器学习软间隔SVM

引言

在上一节里, 我们阐述了核型支持向量机的相关知识。因此, 对于无论是简单问题还是复杂问题, 我们都有能力解决。但是, 高斯核方法虽然看似复杂, 但也可能引发过拟合问题。造成过拟合现象的原因之一可能是你选择了过于强大的特征转换手段；另一个原因是, 如果强行要求所有数据都能被精确分类, 这样可能会把一些噪音也纳入到模型构建过程中；这可能导致这些噪音也被错误地纳入到结果分析中。

软间隔支持向量机

第一步：容忍错误的发生

硬间隔支持向量机（hard-margin SVM）的基本定义是：所有数据必须完全正确地被分类，并且同时需要选择参数w使其达到最小值。

为了解决这一问题, 我们不如采取一种更为宽容的态度, 将可能出现的错误纳入目标表达式中, 并以错分类样本数量最少为目标优化结果. 其中参数C反映了间隔大小与容错能力之间的权衡关系（即C是对间隔最大化[large margin]与噪声容忍度[noise tolerance]的综合考量）, 当C较大时, 系统会优先追求尽可能少的误判; 当C较小时, 则会更加注重向量w长度的最小化; 最终会在正确数据上实现间隔最大化.

![](ht