调试学习率

学习率或许是最关键的超参数。若仅能调整一个超参数，应优先考虑学习率的优化。– Page 429, Deep Learning, 2016

• 较大的学习率可使模型更快地完成训练过程，但代价是最终得到的权重可能并非最优解
• 较小的学习率有助于模型获得更优甚至全局最优的权重组合，但可能显著延长训练时间
• 若学习率设置过大，会导致权重更新幅度过大，从而在多个训练周期中出现性能波动。这种波动现象通常归因于权重发生了\textcolor{green}{\text{\small diverge}}（即\textcolor{green}{\text{\small divergent}}）的情况
• 若学习率过小，则可能无法实现收敛，或陷入局部最优解
• 在极端情况下，较大的权重会产生较大的梯度，并进一步导致权重更新幅度过大。这种持续增长的趋势可能会引发权重数值爆炸，即造成\textcolor{green}{\text{\small numerical overflow}}的问题

学习率三部曲

1. 判断当前训练方法是否面临学习率设置不佳的问题
2. 进行敏感性分析以理解学习率如何以及在多大程度上与当前模型和数据相互作用
3. 调整学习率为提升性能服务：固定学习率 → 学习率衰减 → 动量法 → 自适应学习率

Step 1: Diag