正则化（吴恩达机器学习笔记）

文章结构概览

• • • 1.过度拟合现象

      • 2.损失函数

      • 3.带有正则项的线性回归模型

      • • • 1.梯度递减算法

      • 2.标准方程解法

      • 4.引入正则项的逻辑回归方法

1.过拟合问题

如图所示：第一个模型为线性模型，存在欠拟合现象，难以有效适应数据集；而第三个模型为高次方模型，过度拟合原始数据，导致预测能力下降，同样属于欠拟合。可以明显发现，随着x的次数增加，训练出的模型对数据集的拟合效果越佳，但其在预测方面的表现却会相应减弱。
解决办法包括：
①削减特征维度，去除部分非关键特征。
②采用正则化方法，在保留全部特征的同时降低模型参数的数值。

2.代价函数设计与优化

在上述图表中所展示的第三个模型表达式为：h_{\theta(x)}=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}^{2}+\theta_{3}x_{3}^{3}+\theta_{4}x_{4}^{4}。由于模型中包含了高次方项