比较MLE和LSE的不同

最大似然估计与最小二乘估计的区别

最小二乘估计方法

在最小二乘估计方法中，理想的参数估计应当确保模型能够最大程度地贴合样本数据，具体表现为估计值与实际观测值之间的偏差平方总和达到最小化。

令Q代表误差平方和，其中Y_{i}表示模型预测结果，\hat{Y}_{i}代表实际观测数值，则可定义为Q = \sum_{i=1}^{n}(Y_{i} - \hat{Y}_{i})^{2}

最大似然估计方法

在最大似然估计的框架下，理想的参数估计值应当使得从模型中获得这n组样本的观测数据出现的可能性最高，即对应的概率分布函数或似然函数取得最大值。

显然，实施最大似然估计必须明确该概率分布的具体形式，通常假定其服从正态分布的特征，在这种前提下，最大似然估计与最小二乘法在结果上具有等价性，即所得到的参数估计值是完全一致的。
最大似然估计的基本原理：
1. 当样本x_{1}, x_{2}, ... ,x_{n}被给定时，定义相应的似然函数为L(\theta) = f(x_{1}, x_{2}, ... ,x_{n};\theta);
2. 将L(\theta)视为关于\theta的函数，通过寻找使该函数达到极值点的\hat{\theta}来完成对参数的估计，