过拟, 欠拟, 梯散, 梯爆

过拟合和欠拟合

我们将分析模型训练过程中常见的两种典型问题：
一种情况是模型难以实现较低的训练误差，这种现象被定义为欠拟合（underfitting）；
另一种情况是模型在训练集上表现出极低的误差，但在测试数据集上的误差却明显偏高，此现象称为过拟合（overfitting）。 在实际应用中，我们需要尽可能地同时处理欠拟合与过拟合的问题。尽管存在诸多可能引发这两种拟合问题的因素，本文将着重探讨其中两个关键因素：模型的复杂程度以及训练数据集的规模。

模型复杂度
关于模型复杂度的概念，我们以多项式函数拟合作为示例进行说明。假设有一个由标量特征x及其对应的标量标签 y 构成的训练数据集，多项式函数拟合的任务即是在该数据集上寻找一个 K 阶多项式函数

通过该方式对y进行估计。在上述表达式中，w_k代表模型的权重系数，而b则表示偏置项。与线性回归模型类似，多项式函数拟合同样采用平方误差作为损失函数。值得注意的是，当多项式阶数为一时，该拟合过程即等同于线性拟合。
针对给定的训练数据集，模型的复杂程度与其对应的误差之间存在如