机器学习

1. PCA综述

主成分分析法（Principal Component Analysis, PCA）的核心理念在于实现数据维度的缩减。

该方法具备以下功能：

• 减少数据整体所包含的维度数量

通过从数据集合中抽取关键特征，消除信息重复，从而有助于发现数据内部存在的规律（pattern）

其应用范围涵盖：图像信息压缩、人脸身份识别等。

2. 特征值(EigenValue)和特征向量(EigenVector)

定义：A x = λ x

意义：

特征向量这一概念从字面意义上理解，其作用在于描述矩阵的特性。通过上述定义式可以看出，当矩阵A与向量x相乘时，结果等同于一个标量λ与向量x的乘积。由此可知，矩阵A与向量x之间存在某种对应关系，而λ仅起到比例系数的作用。因此，向量x能够作为矩阵A的一种表征形式。

• 特征值λ反映了特征向量x在体现矩阵A整体特性方面的贡献大小。换句话说，特征值越高，对应的特征向量在描述该矩阵特征方面的作用就越显著。

3. PCA计算步骤

1. 获取数据

数据集X的定义如下：（数据以行的形式进行排列）

![](http://latex.codecogs.com/gif.latex?X=\begin{bmatrix}x_1\\ %20\vdots%20\ x_n\end%