降维为主成分分析(PCA)

主成分分析法（Principal Components Analysis）最初由Hotelling在1933年提出。由于多个维度变量之间通常存在一定相关性，在这种情况下人们自然倾向于通过线性组合的方式从这些指标中尽快提取信息。当这些维度变量的第一个线性组合无法提取更多信息时，则考虑使用第二个线性组合继续这一信息提取的过程……直至足够多的信息被提取完毕为止。这正是主成分分析的核心理念。

主成分分析可用于变量维度间存在显著程度相关的情况。在主成分分析适用的情形下，通常情况下可以用较少数量的主成分获取较多的信息量，并最终获得一个更低维度的数据向量。通过主成分分析不仅可以有效降低数据的"维数"还能保持原有数据的大部信息量。一项具有代表性的研究是由美国统计学家斯通(Stone)于1947年进行的国民经济研究工作。他利用美国1929至1938年间各年的统计数据成功提取了17个反映国民收入与支出情况的因素例如雇主补贴消费资料和生产资料纯公共支出净增库存股息利息外贸平衡等指标。经过主成分分析后研究结果表明仅需3个新提取的因素便能在约97.4%的信息准确性下取代原有的全部17个因素。

一、主成分分析的几何意义

如果我们仅关注于单独的x_1或x_2中的任何一个分量，则可能导致该分量所携带的关键信息被遗漏，则由此可见，在直接舍弃或使用非降维方法来处理这种情况时将无法实现有效的降维