《统计学习方法》支持向量机（SVM）笔记

支持向量机原理与应用

支持向量机属于一种用于二分类任务的模型，其基础形式是在特征空间中构建具有最大间隔的线性分类器。这种最大间隔特性使其与感知机存在显著差异（感知机采用最小化误分类数量的策略，以确定分离超平面，其解具有无限多种可能性；而线性可分支持向量机则通过最大化间隔的方式求取最优分离超平面，其解是唯一的）。此外，支持向量机还引入了核技巧（该技巧能够将数据，包括非线性数据，从低维空间映射至高维空间，在此过程中可将原本在低维空间中难以处理的非线性问题转化为高维空间中的线性问题进行求解），这一特性使其实质上具备了处理非线性分类任务的能力。支持向量机的学习策略核心在于实现间隔最大化，该目标可以被形式化为一个凸二次规划问题，并且等价于对正则化合页函数进行最小化的优化过程。

算法流程

1. 寻找最大间隔
   点与分隔面之间的间隔： 指某一特定点至分隔面的直线距离。
   分类器或数据集的间隔： 该数值表示数据集中所有点至分隔面的距离中最小值的两倍。
   分隔超平面的一般表达式可表示为w^{T}x+b。为了计算点A到该超平面的距离，必须确定该点与超平面之间的法线方向上的投影长度，这一长度可由公式\left | w^{T}x+b \right |/\left \| w \right \|得出。
   函数间隔定义为：$label*( w^{T}x+