神经网络中的偏差与方差及其实现方案

假定当前采用的分类器为性能最优的模型，同时训练集、验证集以及测试集均来自于相同的分布环境。

偏差与方差的产生主要受到以下两个方面的影响：

训练集上的误差（train set error）、验证集上的误差（dev set error）

train set error	1%（很小）	15%（较大）	15%	0.5%
dev set error	11%（较大）	16%（较大，但相较于train set error是合理的）	30%（过大）	1%
方差、偏差	高方差（数据过拟合）	高偏差（数据欠拟合）	高方差、高偏差	低方差、低偏差

---

具体分析如下：

1、train set error：1%，dev set error：11%

这表明在训练过程中出现了数据过拟合现象，从而导致验证时误差显著增加，这种情形通常被定义为高方差。

2、train set error：15%，dev set error：16%

尽管训练集的误差已经较大，但验证集的误差仅在可接受范围内略有上升，这说明模型结构较为合理，但存在数据欠拟合的问题，这种情况通常被称为高偏差。

3、train set error：15%，dev set error：30%

训练集的误差较大，而验证集的误差更大且超出正常范围，这表明模型整体表现不佳，