Notes and Practical Codes for Deep Learning Specialization by Andrew Ng (Sixth Session): Optimizing Gradient Descent (Mini-Batch, Momentum, Adam)

学习提示

长期以来, 我们一直将梯度下降法作为神经网络训练过程中的核心优化工具。
然而, 该种方法在实际应用中仍存在诸多不足之处。
本周, 我们计划深入探索一系列更为先进的优化方法, 力求在多个方面对传统梯度下降技术进行全面革新。

我们需要掌握的优化方法共有三大类：包括批次梯度下降算法、高级更新策略以及动态学习率调整机制。这些优化措施之间具有相互独立性，在实际应用中可以根据具体情况灵活结合运用

分批梯度下降是基于数据集对梯度下降方法进行了优化提升。无需等待遍历完整个数据集后才进行参数更新，在每一批小数据处理完成后即可立即执行参数更新。

该高级更新方法主要采用不依赖参数梯度值的方式进行参数更新，并利用与梯度相关的中间结果来改善优化过程。通过这些更为先进的优化策略，在应用时能够使参数更新过程更加稳定且易于收敛至最优解位置。这些先进的算法涵盖了诸如动量梯度下降法、RMSProp以及Adam等技术，在这其中Adam作为一种融合了前两种方法优势的新颖方案而备受关注；它是当前应用最为广泛的优化器之一。

在机器学习中，学习率衰减是一种技术手段，在模型训练过程中通过设计合理的策略来降低学习率以防止参数更新时出现剧烈波动，并使优化过程能够更快地收敛到最优解附近

在本周课程中，我们将更加重视各类优化算法的独立运用与协同应用。此外，在何种场景下采用何种算法也值得深入探讨