PCA 理解及鸢尾花实践 (sklearn 版本)

简介

PCA:主成分分析（Principal components analysis）
该方法的核心在于对协方差矩阵实施特征分解，从而提取出数据的主要成分（即特征向量）及其对应的权重（即特征值），为实现数据维度的压缩提供了一种高效的手段；当分析人员在原始数据中剔除与最小特征值相对应的成分后，所得到的低维数据将具有最优的保留信息特性（换句话说，这种降维方式能够最大程度地减少信息损失）。
其数学定义为： 一种正交化的线性变换过程，将原始数据映射至一个新的坐标体系中，在此体系下，数据在第一个坐标轴上的投影具有最大的方差（该坐标被称为第一主成分），第二大的方差则出现在第二个坐标轴上（称为第二主成分），依此类推。

总结： PCA能够从原始数据中识别出关键特征，通过旋转数据坐标系至包含最大方差的方向（即最重要的方向），再结合特征值分析确定需要保留的主成分数量，从而去除冗余信息与噪声，完成降维操作。这一特性使得PCA适用于处理具有大量特征的数据集，例如人脸识别任务。

PCA主要算法概述

1. 对每个样本所包含的特征变量计算其均值；
2. 将每个样本数据减去对应特征的均值；
3. 构建协方差矩阵；
4. 确定协方差矩阵对应的特征值及其对应的特征向量；
5. 按照特征值由高到低的顺序对特征值与特征向量进行