机器学习（第6章）：基于主成分分析的降维研究

一、 PCA主成分分析原理

1. 降维的作用：（为何会产生这些作用？）
   （1）有效减少计算过程中的时间消耗与存储需求
   （2）避免对无意义特征进行冗余处理所耗费的资源
   （3）清除数据中可能存在的干扰信息
   （4）在样本量有限的情况下，较为简单的模型往往展现出更优异的稳定性
   （5）当数据可以通过少量特征进行描述时，有助于我们深入理解数据本质，从而实现知识的提炼与获取
   （6）便于对数据进行直观展示

2、降维的目标
主要应用于特征筛选与特征构造。
① 特征筛选：从原始特征中挑选出关键性的子集，并剔除非关键性特征；
② 特征构造：通过原始特征组合生成数量较少的新变量。

3. 将样本映射至特定维度，新坐标系的选择方式：首先确定第一个坐标轴，使得该轴方向上数据集的方差达到最大值（方差越大意味着在该维度上不同类型的数据越容易被区分），随后寻找第二个坐标轴，使其与前一个坐标轴保持正交关系。此过程将持续进行，直至新坐标轴的数量等于原始特征的数量。此时会发现大部分数据方差集中在前几个坐标轴上，这些新的维度即为主成分。
   （1）PCA的核心理念：识别出数据的主要分布方向，并以这些主方向构成新的坐标系统，新系统的维度可以低于原系统维度。之后将原始数据从原坐标系转换到新坐标系中，这一转换过程即为降维操作。

![](https://