机器学习手记（四）：基于最小平方误差的降维方法——PCA

降维

PCA最小平方误差理论

上一节阐述了基于最大方差的角度阐述PCA的基本概念、目标函数以及求解方法；本节将采用最小平方误差的方法重新推导PCA原理及其相关算法框架。
以二维空间中的点为例；上一节通过求解得到了一条直线，在这条直线上各点与原始数据点之间的投影方差达到最大值。
这一过程与统计学中的线性回归问题具有相似之处；其目标同样是寻求一个线性模型来最佳拟合这些样本数据。
基于上述思路；在高维空间中我们实际是要找到一个m维超平面；使得数据集到该超平面的距离平方和达到最小值。
其中当d=1时；该超平面退化为一条直线；此时的目标是最小化所有样本点到这条直线的距离平方和（如图所示）。

对于数据集中的每一个点x_k到d维超平面 D 的距离而言，
距离公式可表示为：

distance(x_k,D)=||x_k-\widetilde{x_k}||_2

其中\widetilde{x_k}代表点x_k 在超平面 D 上的投影向量。
如果该d 维超平面由一组d 个标准正交基向量组W={{w_1,w_2,...,w_d}}构成，