主成分分析方法(PCA)及其原因以及奇异值分解(SVD)的应用

目录

概述

最大方差理论

1.3 PCA算法总结及奇异值分解应用

1.3.1基于特征值分解协方差矩阵

1.3.2 基于奇异值分解协方差矩阵

为何选择SVD作为降维手段？

1.4 PCA总结

参考文献

---

概述

PCA（Principal Component Analysis），即主成分分析方法，也称为主分量分析，是一种在数据降维领域中应用最为普遍的算法。该方法通过线性变换的方式，将原始数据中所包含的n维特征转换为一组具有k维特征的数据集，其中k维特征不仅相互之间线性无关，而且构成全新的正交特征体系，这些特征通常被称为主成分。

在实施降维操作时，应当确保在减少数据维度的同时尽可能保留原始特征所承载的信息内容，从而实现对采集数据的全面解析。由于各变量之间往往存在一定的关联性，因此可以考虑将那些关系密切的变量整合为更少的新特征，并保证这些新特征彼此之间互不相关。这样便可以用较少的综合变量来代表各个原始变量中所蕴含的信息。主成分分析正是基于这种思路而设计的一类降维方法。

然而，在实际操作过程中仍存在一些问题需要解决：究竟应当删除哪些数据列才能使信息损失最小？或者是否并非简单地删除某些列，而是通过特定的变换方式将原始数据转换为更少的数据列，并同时最大限度地减少信息丢失？又该如何衡量信息丢失的程度？以及如何根据原始数据的具体情况来确定具