Common Machine Learning: Principles and Pros and Cons

有监督

一、线性回归（Linear Regression)

1. 算法原理

线性回归（Linear Regression）是一种基础性的回归算法。该方法通过构建一个线性模型来预测连续型的目标变量。其基本形式表现为方程形式y = w₁x₁ + w₂x₂ + … + wₙxₙ + b，其中y代表目标变量；x₁至xₙ为特征变量；w₁至wₙ为模型参数（权重系数）；b为截距项。在线性回归中采用最小二乘法（Least Squares Method），旨在确定一组权重系数和截距项以使预测值与实际观测值之间的差异最小化为目标。

2.优缺点

优点：
a) 该算法简洁明了且易于理解和实现。
b) 计算复杂度较低且训练效率较高。
c) 该算法具有较强的可解释性，并且模型参数具有清晰的实际意义。
d) A regularization method, such as Lasso and Ridge regression, can be employed to prevent overfitting。

3.缺点：

a) 基于线性回归模型假设特征与目标变量之间呈现严格的线性关联关系，在面对非线性分布的数据时其拟合效果会显著下降。
b) 该模型对于异常值（outliers）高度敏感一旦存在异常值可能会严重影响其预测准确性。
c) 当