SVM(support vector machine)算法详解中之转化为对偶问题

本文对SVM（support vector machine）算法进行简要概述。

掌握SVM算法主要存在三个关键难点：

• 如何推导出基础的优化目标函数。（其中包括对函数间隔与几何间隔概念的理解）
• 如何将基础优化目标表达式转换为对偶形式。
• 在完成对偶问题转换后，如何求解拉格朗日乘子，即SMO算法的应用。

因此，本文将从三个方面展开对SVM算法的讲解。

• SVM【上】之形成优化目标
• SVM【中】之转化对偶问题
• [SVM【下

问题描述

本节内容主要针对上一节中所提出的优化目标函数进行求解与转换。上一节所涉及的优化问题可表示为
\underset{w,b}{\min}\ \frac{1}{2} ||w||^2\\ s.t.\quad y_i(w^Tx_i+b) \ge 1
即在满足约束条件y_i(w^Tx_i+b) \ge 1的前提下，寻找能够使\underset{w,b}{\min}\ \frac{1}{2} ||w||^2取得最小值的参数组合w,b。需要特别指出的是，本问题关注的重点在于确定参数w,b的具体取值，而对于最小值的具体数值并不加以考虑。

广义拉格朗日函数解析

针对如下形式的最优化问题，即
$\underset{x}{\min}\ f(x)\ s.t.\