线性判别式分析LDA

线性判别分析LDA

前言：在我最初任职的公司中，曾参与宏基因组数据的分析工作，期间接触到了LDA方法，但当时并未深入理解。如今有了再次学习的机会，借此机会重新梳理相关知识。在此部分中，我们将探讨线性判别分析作为一种线性分类器的特性。
线性分类器属于最基础的分类模型类型。通常情况下，线性判别函数可以表示为g(x)=w^T+w_0

接下来我们将开始探讨最为直观的Fisher线性判别分析（linear discriminant analysis, LDA）。对于两类样本的线性判别问题，可以理解为将所有样本数据映射到某一特定方向上，随后在该一维空间中设定一个分类阈值。与投影方向垂直且穿过该阈值点的超平面即为两个类别之间的分界线。核心问题在于如何确定这一投影方向。Fisher线性判别的基本理念是，选择一个投影方向，使得在投影后两类样本之间的距离尽可能增大，同时确保每一类内部样本分布更加集中。这一目标可以通过以下准则进行描述：
max J_F(w)=\frac{S_b}{S_w}=\frac{(m_1-m_2)^2}{S_1^2+S_2^2}
这正是