深度学习：欠拟合与过拟合问题及解决方法（包括BN、L1/L2范数正则化、集成方法及Dropout）

https://github.com/imhuay/Algorithm_Interview_Notes-Chinese

一、欠拟合与过拟合问题分析

欠拟合 表示模型无法在训练集 中实现足够小的训练误差 ；

过拟合 指的是模型所呈现的训练误差 与测试误差 （即泛化误差）之间存在明显差异；

从评价指标 的角度来看，这种现象表现为模型在训练集上表现优异，但在测试集以及新的数据集上效果欠佳（即存在泛化能力差 的问题）；

降低过拟合风险的方法

所有旨在降低测试误差的措施均可归类为正则化技术，此类手段往往伴随着训练误差的上升

数据扩充

图像：实施位移、旋转、缩放等操作

借助生成对抗网络（GAN）创造新的样本

NLP：通过机器翻译生成额外的数据

简化模型结构

神经网络：缩减网络层级与神经元