支持向量机/SVM

支持向量机

支持向量机作为一类典型的二分类算法，其基础形式被界定为在特征空间中实现最大间隔的线性分类装置，该模型的学习过程旨在实现间隔的最大化目标，由此可以看出，支持向量机本质上可转化为一个凸二次规划问题进行求解。

函数间隔与几何间隔解析

在二分类学习任务中，若当前数据具备线性可分特性，则分类学习的核心思路在于确定一个合适的超平面，该超平面具备将不同类别样本区分开的能力。这一概念类似于二维空间中通过ax + by + c = 0所描述的直线，而超平面本质上对应于高维空间中的平面结构，如图所示：

在对数据点进行划分的过程中，可以明显发现，当超平面与最近数据点之间的距离越宽时，分类的鲁棒性表现越佳。这意味着，当引入新的数据点时，超平面对这些新增样本的适应能力最强，发生误判的概率最低。因此，在选择超平面时，应尽可能使其与数据点之间的间隔达到最大值Gap。关于间隔的定义方式通常存在两种：一种被称为函数间隔，另一种则称为几何间隔。接下来将分别对这两种间隔进行详细说明，并进一步解释为何支持向量机倾向于采用几何间隔作