机器学习中的线性回归

目录

一、回归与分类

二、线性回归的直观理解

三、线性回归的标准表达式

四、参数的计算方式

五、过拟合现象与正则化方法

---

一、回归与分类

回归与分类构成了机器学习中的基础性问题。其中，回归任务旨在预测连续数值，而分类任务则用于预测离散数值；在回归模型中，输出结果可以为任意数值，而在分类模型中，输出结果只能是预先设定的类别之一，例如（0，1）中的0或1。从理论角度来看，若输入值在回归问题中较为接近，则其对应的预测值也会呈现出相似的趋势；然而，在分类问题中，当输入值处于同一分类决策边界范围内时，其预测结果将保持一致，表示它们归属于相同的类别。

以具体实例加以说明：

对明天气温的预测属于回归问题的范畴，因为所得到的预测结果可以是温度范围内的任意数值，并且具有连续性特征。

而对明天天气状况的判断则属于分类问题的范畴，其预测结果如阴天、晴天、雨天等均为离散值。

二、 线性回归的直观解释

【从直观角度理解，线性回归的核心在于确定一条直线f(x)=kx+b（适用于二维坐标系），使得所有给定的样本点（x，y）尽可能地落在该直线上。在相同x值的情况下，要求所有数据点与该直线之间的总误差，即预测值f(x)与实际观测值y之差的平方和达到最小化，从而实现预测值与真实值之间欧氏距离总和的最小化。当拓展到高维空间时，则需要寻找一个超平