PPT学习笔记
发布时间
阅读量：
阅读量
BN改进方法与效果
与我于 白皮书阅读笔记 中所记载的关于bn的优化策略相吻合
2：WAGE
本文主要围绕四个关键组成部分（W：weight，A：activation，G：gradient，E：error）展开量化分析。重点探讨该研究是如何将bn层整合至其他模块中的。首先，bn层的一个重要功能是降低模型对初始参数的依赖性。在去除bn层后，为缓解初始化对模型性能带来的影响，作者采用了一种名为msra的初始化策略，相关研究可参考链接msra论文;msra 博客。简要而言，这一方法的核心理念在于使当前层输入数据的方差与输出数据的方差保持一致。即满足Var(y_{l-1}) = Var(y_{l})。在使用RELU激活函数的前提下，作者通过推导得出，若要实现上述等式成立，则必须满足Var(W_{l})=2/n_{in}。
还没有任何评论哟~