深度学习残差结构：1000层架构
发布时间
阅读量：
阅读量
本文阐述了网络深度由数层扩展至千层过程中涉及的多项核心技术，其中特别关注残差结构（Residual）所起的关键性作用。
问题
【理论上，网络结构的深度增加将使其能够覆盖更广阔的解空间，从而有望实现更高的精度。然而，单纯地叠加更多层并不能直接提升模型的收敛效果与预测准确性。
网络的宽度同样是影响整体性能的重要参数，关于“深度与宽度”的优劣比较尚未形成统一结论，本文亦不对此展开探讨。
几层到几十层
梯度消失问题解析
当处理深度较大的网络结构时，在执行反向传播过程时，往往容易因激活值的幅度过高或过低，而陷入梯度消失的状态，从而造成网络浅层部分难以得到有效训练。
解决
ReLU
2012年，一款包含5层结构的AlexNet1在竞赛中脱颖而出，成功夺得当年ILSVRC图像分类第一名。ReLU激活函数（蓝色曲线）的输出范围为[0,\infty]，只要其输出值为正值，梯度消失问题便不会出现。
还没有任何评论哟~