Dropout: 介绍其机制与应用

为了缓解神经网络容易出现的过度拟合问题，在2014年 Hinton 的研究中首次提出了一个非常有效的解决方案，
Dropout：一种简单有效的防止神经网络过度拟合的方法
(original paper: http://jmlr.org/papers/v15/srivastava14a.html)

实验结果：

在深度学习模型的训练过程中, 通过随机概率的方式剔除部分神经元, 相当于从原始架构中筛选出一个更为精炼的结构

在大规模的神经网络中有这样两个缺点：1. 费时；2. 容易过拟合

对于一个拥有 N 个节点的神经网络来说，在应用 dropout 后相当于构建了一个包含所有可能子集节点的模型集合，并且这种操作不会增加训练所需的参数数量。这样一来，在处理大量数据时计算效率得到了显著提升。

在论文中采用了这样的类比分析，在物种繁衍过程中无性生殖能够较为有效地保留大量优良基因片段，