机器学习西瓜书（二）—模型评估与选择

文章目录

• • • • • 经验误差与过拟合
    • 评估方法（实验估计）
    • 性能度量（评价标准）
    • 比较检验
    • 偏差和方差

经验误差与过拟合

在机器学习模型构建的初始阶段，理解误差的本质是至关重要的。误差（Error）被定义为学习器在实际预测输出与样本真实输出之间的差异。为了量化这种差异，我们通常引入“错误率”这一指标，其计算公式为 E = \frac{a}{m}，其中 m 代表样本总数，a 则代表分类错误的样本数量。然而，仅看单一数据集上的表现往往具有误导性，因此我们需要区分两种核心误差概念：训练误差（Training Error）与泛化误差（Generalization Error）。训练误差，亦称为经验误差，是指学习器在用于训练的数据集上表现出的误差水平；而泛化误差则衡量学习器在面对从未见过的新样本时的预测准确性。这两者之间的差异直接反映了模型的过拟合或欠拟合程度。

从理论层面来看，由于计算复杂度的限制，即著名的 P != NP 难题，完全消除过拟合在计算上是不可行的，因此过拟合在某种程度上是不可避免的。我们只能通过正则化、增加数据量或调整模型复杂度等手段来缓解这一问题。当模型过于简单，无法捕捉数据中的潜在模式时，会出现欠拟合现象，此时训练误差和泛化误差都较高；反之，当模型过