凸优化

凸优化

在众多机器学习算法中，SVM与其他多种算法一样广泛应用于解决各种分类与回归问题。本篇博客将全面阐述凸优化的基本方法与技巧，并探讨常见的挑战与解决方案。

基本概念

仿射集(Affine Set)

对于集合C中任意两个不同的点所连的直线都位于集合C内，则称该集合为仿射集。对于所有属于\textsubscript{C}的点\textsubscript{x₁}和\textsubscript{x₂}以及所有实数\theta，则存在点\textsubscript{x}= \theta \cdot \textsubscript{x₁} + (1-\theta) \cdot \textsubscript{x₂}属于该集合。

凸集

称作集合C为凸集的是指，在集合C内的任意两点之间的线段都完全包含于该集合。

由于仿射集的条件比凸集的条件要强一些，所以仿射集一定是凸集。

保凸性运算

• 集合交运算；
• 仿射变换：f = Ax + b的形式；
• 透视变换；
• 投射变换

凸函数

Definition: If the domain of function f, denoted as dom f, is a convex set, then it satisfies that for all x a