线性回归比较：梯度下降与正规方程

线性回归——梯度下降 VS 正规方程

2018-7-25
线性回归问题的表达式为： y^i=\theta_0+\theta_1x_1^i+\theta_2 x_2^i+... \theta_mx_m^i=y^i=\theta ^TX^i
针对该问题，存在一种基于数学推导的求解途径：
残差平方和的目标函数定义如下： min \quad Q(\theta)=(Y-X\theta)^T(Y-X\theta)
\Longrightarrow \theta=(X^TX)^{-1}X^T Y
其中，各符号的具体含义为：
Y=[y^1,y^2,...,y^n]^T;
\theta=[\theta_0,\theta_1,...,\theta_m]^T;
X \in R^{n\times (m+1)}

通过上述方式得出的计算公式 \theta=(X^TX)^{-1}X^T Y，被称作正规方程（Normal Equation)。
在线性回归问题中，还存在另一种求解方法，即梯度下降法。熟悉机器学习相关知识的学习者对此应当并不陌生，此处不再深入阐述。本文主要探讨梯度下降法与直接采用正规方程进行求解这两种方法在处理线性回归问题时的表现差异：
数据集包含n个训练样本，并具有m维特征。
**1. 梯度下降法（Grad