统计学习系列多元线性回归模型（二）——参数估计I：点估计

文章结构概述

• 1. 前文回顾

  • 2. 最小二乘法估计（Ordinary Least Squared Estimate, OLS）

  • 3. 极大似然估计（Maximum Likelihood Estimate, ML）

  • 4. 结论

  • 5. 新问题的提出

  • • 参考文献

  • 写在最后

**【更新日志

前文回顾与研究基础

在前一篇文章中，我们构建了多元线性回归模型，并对其相关假设进行了阐述，同时给出了对应的样本模型（详见：【统计学习系列】多元线性回归模型（一）——模型的建立与基本假设）（别问我为什么点开404，因为这一章的内容太多我还在补充中，暂未开放 ）：
y_i= \beta_0 + \sum_{j=1}^{p} x_{ij} \beta_j + \epsilon_i , \ i=1,...,N其中：
\bm{\epsilon} = (\epsilon_i)_{N \times 1} \thicksim N(0,\bm{I_n}\sigma^2)
因此，需要进行估计的参数总数为 p + 2 个，具体包括 β 0, β 1, …, β p, σ 。那么如何借助样本数据来实现对模型参数的估计呢？通常情况下，我们的基本策略是：首先确立一个评估标准，其次在