最小二乘法的两种求解方法

问题表述：

有训练数据集T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},其中，样本个数为N，每个样本有m个属性，x_i\in R,y_i\in R, 预测未知样本集的输出。
很明显这是一个回归问题，我们想要求出一个回归函数 h_w(x)（在线性回归下可以表示成h_w(x)=\sum_{i=0}^mw_i\cdot x_i=x^Tw） ，使其在未知样本集得到期望的输出，一个很好的思路即是希望在已知的训练数据集上得到的输出h_w(x^{(i)})与真实值y^{(i)}足够小。于是我们可以定义一个损失函数

则我们的目的是使得损失函数最小。

1.通用的表示方式

为优化损失函数最小值问题而采用梯度下降法。即为每次更新参数w时,w的变化方向与损失函数关于w的负梯度一致。随着迭代过程持续进行, 损失函数值会逐步减小直至稳定不再降低。具体包含两个步骤: 1. 初始化参数w；2. 更新参数w。

• inital w

• repeat :

  • w_j=w_j-\alpha \frac{\partial J(w)}{\partial w_j}

在优化过程中，学习率α用于调节更新步骤的大小；而损失函数对权重w_j的偏导数计算方法如下。

2.向量表示法

为了