机器学习系列手记第4期：线性判别分析

降维

线性判别分析

与传统的主成成分分析（PCA）相比，在监督学习中的一种有监督的降维技术是线性判别分析（LDA）。与PCA不同的是，在这种情况下 PCA 算法并未考虑数据所属的不同类别（即标签），它仅仅将原始的数据投影至能够最大化数据分散程度的方向上。假设存在两类样本集 C_1 和 C_2 ，如图所示。根据 PCA 的原理，在这种情况下 样本应当被投影至能够最大化类间差异的方向上 即 y 轴方向。然而 由于 C_1 和 C_2 两个不同类别的样本点完全重叠在一起 无法有效区分两者之间的差异性 因此 PCA 算法在进行降维后再进行分类时效果较差 LDA 则试图通过降维过程将样本点投影至能够最大化类间差异的方向上 即 x 轴方向

LDA主要用于分类任务，在数据降维过程中寻找一个合适的投影向量 w ，使其能够将不同类别的样本区分开来。对于二分类问题而言，在两个类别 C_1 和 C_2 的情况下（其中 \mu_{1} 和 \mu_{2} 分别代表这两类样本的均值向量），我们希望选择一个投影方向 w ，使得这两个类