人工智能之数学基础最小二乘法

原理

最小二乘法最早由勒让德（A.M.Legendre）在1805年出版的《计算彗星轨道的新方法》一书中正式提出，其核心理念是通过最小化误差的平方和来确定最符合数据特征的拟合函数。借助该方法可以求解未知参数，使得理论值与实际观测值之间的偏差（通常称为误差或残差）的平方和达到最小状态，具体表达式如下：
E=\sum_{i=1}^{n}\epsilon_i^2=\sum_{i=1}^{n}(y_i-\hat{y})^2
在此公式中，\hat{y}代表样本数据对应的预测值；而y_i则表示所假设的拟合函数在相应点上的输出结果。

示例

以下是一个简明的例子：

假设通过观察或实验获取了一组(x,y)数据：(1,6),(3,5),(5,7),(6,12)。目标是寻找一条与这些点最为契合的直线，以表达数据之间的关联性。

通过对数据进行分析可以发现，这些点大致呈现出线性分布特征，因此可以采用线性表达式：y=ax+b来描述它们之间的关系，并建立如下方程组：
\begin {cases} 6=a+b\\ 5=3a+b\\ 7=5a+b\\ 12=6a+b \end {cases}
接下来需要确定参数 a和b的取值。然而，通常情况下并不存在这样的a和b使得所有点都落在同一直线上。因此，我们期望找到一条与这