机器学习入门：线性判别器

线性判别分析

全称是Linear Discriminant Analysis (LDA)。

原理

基于提供的训练样本集合，在实现数据分类的过程中采用了降维技术进行处理。具体而言，在这一过程中将样本映射至单一的一条直线上，并通过优化使得同类样本在该直线上的投影点会相对集中，而不同类别的样本在该直线上的分布会尽量分开。对于LDA算法而言，在分类任务中其降维效果最多只能达到类别数量减一的空间维度数。

输入

训练数据集D = \{(x_1, y_1), ..., (x_M, y_M)\}中包含M个样本对(x_i, y_i)，其中每个样本x_i属于集合\mathcal{X}（即\mathcal{X} \subseteq \mathbb{R}^n），类别标记y_i取值于空间\mathbb{R}^K；在二分类问题中，在这种情况下类别标记为-1或+1。

X_i, \mu_i, \Sigma_i 分别表示第i类样例的集合、均值向量、协方差矩阵。

输出

所有类别对应的均值向量，在各类别样本在整个数据集中所占比重较大的情况下，在进行降维操作时需要用到一个特定的线性变换矩阵；该过程会生成一组新的权重系数来表示各个维度的重要性程度。当问题仅涉及两类时，则可取{+1, -1}作为类别标签。

损失函数

在下面的