对神经网络进行训练的方法进行优化

01 考虑换一种学习率 schedule

学习率 schedule 的选择对模型的收敛速度与泛化能力产生着重要影响。Leslie N. Smith 等人在其论文《Cyclical Learning Rates for Training Neural Networks》及《Super-Convergence: Very Fast Training of Neural Networks》中提出了一种周期性（Cyclical）学习率以及 1Cycle 学习率 schedule，并在此基础上进行推广工作。下图展示了 1Cycle 学习率 schedule 的具体形式：

Sylvain 表述道：1Cycle 包含两个等长的阶段长度，第一个是从较低的学习率逐步提升至较高水平的过程；第二个则是从最高水平降至最低水平的过程。其中最大值是由学习率查找器选择的最大值，在这个基础上较小的学习率可降低十倍。此外该周期的时间跨度应略低于总的训练 epoch 数，并且在训练后期允许学习率比最小值低几个数量级以确保稳定收敛过程。相比于传统的学习率调度策略，在最佳情况下该调度方法实现了显著加速