PCA、LPP及其正交改进的提取特征降维算法

正交PCALPP代码实现

文章结构概览

• 正交PCALPP代码实现

  • • 0.引言

    • 1.原理

    • • 1.1 PCA目标函数
      • 1.2 LPP目标函数
      • 1.3 CVPCALPP原理

    • 2.方案验证

    • 3.结论

0.引言

传统数据降维方法中，基于主成分分析（Principal component analysis, PCA）的技术在提取有效特征信息时，仅关注全局结构的保持，而忽略了样本之间的局部邻近结构。为此，本文提出了一种改进的全局结构保持算法，用于特征提取与降维。该方法将流形学习中局部结构保持（Locality preserving projection, LPP）的理念引入主成分分析的目标函数中，使得样本在投影后的特征空间中不仅保留了原始样本空间的整体结构，同时也维持了样本之间相似的局部邻近关系，从而包含更为丰富的特征信息。此外，还引入正交约束以消除特征冗余。通过使用UCI数据集进行降维和可视化分析，验证了该方法的有效性。

1.核心原理阐述

1.1 PCA目标函数

PCA的主要原理是借助投影矩阵A，将原本处于高维空间的数据转换至低维空间，从而在该坐标系下使数据分布的方差达到最大值，进而有效维持数据整