机器学习系列手记（四）：降维：PCA的最大方差原理

降维

在机器学习领域，数据往往需要转换为向量形式输入模型进行训练，这些向量有时存在于高维空间中，并包含大量冗余信息和噪声。对这类向量进行处理与分析将显著增加系统资源的消耗，甚至引发维度灾难问题。因此，实施降维技术，即将原始高维特征用低维向量加以表示，成为一项至关重要的任务。我们期望通过降维手段揭示数据内部的潜在特性，从而增强特征表达能力并减少训练过程中的复杂度。目前常用的降维方法包括主成分分析、线性判别分析、等距映射、局部线性嵌入、拉普拉斯特征映射以及局部保留投影等多种技术。

一 PCA最大方差理论