一篇BNpaper
发布时间
阅读量：
阅读量
Dropout与批量归一化的方差偏移分析
本文重点探讨了两个核心议题：
- 在众多网络架构中，为何将Dropout与BN结合使用会导致模型表现下降？
- 在Wide ResNet结构中，为何Dropout与BN的联合应用有时反而能提升效果？
引发上述现象的原因较为明确：
- Dropout机制在设计之初旨在确保训练阶段与测试阶段神经元输出的均值保持一致，但其特性会导致两阶段输出方差出现差异。而BN层则要求神经元在训练与测试过程中，其输出的均值和方差均需保持稳定。这种差异性引发了所谓的variance shift问题。
- Wide ResNet由于具有大量输出通道，从而有效缓解了variance shift所带来的负面影响。
跨层内部表示归一化方法
本文指出了BN方法中存在的两个缺陷
- 需要保证batch的规模足够大
- 仅依赖当前层的数据特征，未能整合前序层的相关信息
针对上述问题，KN方法引入了前序层的均值与方差信息，并有效缓解了对batchsize规模的依赖。
KN方法的核心表达式如下：
还没有任何评论哟~