防止过拟合的方法及其在面试中的应用（ dropout实现原理）

这个比较简单，但也记录一下。（要深入起来也不容易呀）

问：怎么防止过拟合？[头条，百度，boss直聘]

采用早停法（Early stopping）是一种有效的防止过拟合技术。
具体而言，在深度学习模型训练过程中，
每个 epoch 结束后，
都会对验证集进行预测计算，
并持续维护当前验证集上最佳的准确率值。
如果在多个 epoch（例如 10 个 epoch 或更多）中，
模型在验证集上的准确率均未能提升，
则可判断模型已收敛，
从而提前终止迭代过程以节约计算资源。

数据集扩增
“有时候往往拥有更多的数据胜过一个好的模型。” 因为我们在使用训练数据训练模型，通过这个模型对将来的数据进行拟合，而在这之间又一个假设：训练数据与将来的数据是独立同分布的。
更多的数据有时候更优秀。但是往往条件有限，如人力物力财力的不足，而不能收集到更多的数据。
（问：采用什么样的方法可以降低获取数据的成本？）
半监督，或无监督学习。先聚类得到大致的类别，再人工标注。
常见的六大聚类算法
（有机会我再总结一下）

通过进行扩增训练集可以获得更多与现有IDD（Independent and Identically Distributed）样本相关的实例（包括来自同一来源的新增样本），或者在一定程度上近似IDD的数据实例（即近似独立同