降维：线性判别分析(LDA)

线性判别分析（Linear Discriminant Analysis, LDA），亦称Fisher线性判别（Fisher Linear Discriminant, FLD），是模式识别的经典算法。首次提出是由Ronald Fisher在1936年完成的。于1996年Belhumeur将其引入模式识别及人工智能领域。

一、基本思想

线性判别分析的核心概念在于将高维的数据映射至最佳低维区分空间中，在此过程中实现从高维空间中提取分类特征并降低数据维度。通过投影操作使得模式样本在新的子空间中呈现出最大的类间间距和最小的类内间距，在此特性下具备极佳的分类可分性。因此成为一种高效的特征提取手段。使得投 投影后的模式样本具有最大的类间散布矩阵和最小的类内散布矩阵。

能够观察到两类数据，并且其中一类以绿色标记、另一类以红色标记分别表示。左边图表展示了这两类数据的基本分布情况；右边图表展示的是通过LDA方法得到的结果线。为了达到降维的目的，在二维空间中直接将数据投影至x_1或x_2轴上可能会出现不同类别的重叠现象；这种情况下会影响分类效果；而右边图表展示的是通过LDA方