机器学习基础线性SVM模型

引言

接下来的一系列机器学习相关文章中, 我将详细介绍常用算法, 并在这一过程中尽量结合实际应用, 深入理解其实质所在, 希望通过努力能够获得应有的收获。

1. 当存在多种可进行特征转换时, 我们应采取何种策略合理应用这些特征转换, 并加以控制其复杂度的问题, 这一探讨促进了支持向量机(SVM)算法的发展.
2. 如何将具有预测性的各种特征求取并结合使用, 以使整体模型表现出更好的性能, 这一方向衍生出了提升方法(AdaBoost)模型.
3. 如何识别数据中的潜在特性并使机器能够自主学习出这些特性, 进而提升其表现能力, 这种研究思路推动了神经网络从传统形式向深度学习领域的演变.

本节我们以线性支持向量机为基础逐步扩展至更为复杂的模型

最大间隔分离超平面(Large-Margin Separating Hyperplane)

就上图所示的分类问题而言，在此情境下三个图中的分类超平面均成功地将训练数据划分为两个类别（训练误差为零），而线性分类器的复杂度定义为其维度加一（d+1）。那么我们应当如何理解右端图像中的分隔超平面为何更具优势呢？因高斯噪声的存在，在左端图像中若在同一类别内位