探讨多元回归中的离差、残差与误差（Deviation, Residual, Error）

文章结构概述

• 1. 综述
  • 2. 误差（Error）——模型的基本特征
  • 3. 离差（Deviation）——实际观测值与均值之间的差异
  • 4. 残差（Residual）——实际观测值与模型预测值之间的差异
  • 5. 各项指标间的关联性
    • 5.1 残差与离差的对比分析
    • 5.2 残差与误差的比较研究
    • 5.3 离差与误差的相互关系
    • 结语部分

1. 综述

在初次接触多元回归模型时，不少学习者常常因一些专业术语而感到困惑，尤其是 离差（Deviation）、残差（Residual）与误差（Error） 这三个概念。乍一看，它们似乎含义相近，甚至让人误以为是同一回事。然而实际上，尽管三者之间存在一定的联系，但其背后所表达的统计学意义却截然不同。接下来，我们便简要探讨一下这三者之间的差异所在。

2. 误差（Error）——模型的总体性质

【误差（Error） 一词的原始含义即为“错误”。在人们的日常生活中，难免会犯下各种各样的错误，而模型作为对现实世界的简化表达，同样无法避免包含一定的偏差。在多元回归模型中，我们在构建模型时便引入了这一偏差因素——误差项。例如，在如下所示的多元回归模型：
$Y = \beta_0 + \sum