机器学习基础双核SVM

引言

在上一小节所述内容中，在介绍部分提到使用二次规划方法来解决支持向量机的问题。
当采用非线性特征转化的方式时，在一个更为复杂的Z空间内执行二次规划。
这种思路旨在通过最大化间隔来调节模型的复杂度。
然而这带来了新的挑战：当在新引入的高维空间内执行特征转换后，在该空间内求解二次规划问题变得较为复杂。
即使扩展到无限维度的空间时，在该空间内寻求最佳化解决方案也将面临巨大困难。
因此本节我们将探讨如何克服这些挑战：通过极其复杂的特征转化手段以及可能达到无限维度的转化。
从而消除对Z空间中高维度依赖的影响。

对偶问题

对于原始的支持向量机（SVM）问题，在进行特征转换后将增加1个变量（其中d为Z空间的维度），同时保持原有的N个限制条件不变。为了将其转化为一个等价的问题，在这种情况下该问题将仅有N个变量和N+1个限制条件。因此无论是在变量数量还是限制条件数量方面都只与数据量相关而与转换到什么维度的空间中无关

第一步：引入拉格朗日函数

SVM和正则化的思想有些类似，是求解一个有条件的最佳化问题。

![](http://jason-images.qiniudn.com/@/ML/tech