机器学习笔记 ridge回归 ridge regression

该内容整理于Coursera平台上的机器学习专项课程系列中。如上所示，请您若需转载或引用此内容，请联系原作者获取许可。（https://www.coursera.org/specializations/machine-learning）

1.一般回归遇到的问题

通常情况下，在应用机器学习算法时会遇到过拟合问题（overfitting）。

在训练数据中提取出其内在的统计规律性特征，并且模型能够准确地捕捉到这些特征。

error = 偏差 + 方差
偏差定义为模型在训练集上的预测值与真实目标变量之间的差异。
方差表示为各个单独估计器预测结果与其均值预测之间的偏差。

所以当模型的复杂度较小时偏差较大而方差较小反之当模型的复杂度较高时则相反

2.岭回归模型（Ridge Regression Model）

我们定义损失函数：
Total\ cost =mesaure\ of \ fit+measure\ of\ magnitude\ of\ coefficients\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =RSS(\hat{w})+\lambda|\hat{w}|^2
我们该怎么确定\lambda呢？先来讨论一下以下情况：
\lambda=0：这时候相当于令RSS最小，