机器学习进阶知识：神经网络之反向传播算法（引入动量momentum改进误差逆向传播算法）

文章结构概览

• 1、动量momentum

  • 2、融合momentum的误差反向传播算法

  • 3、算法实现

  • • 3.1 训练过程
    • 3.2 测试过程

  • 4、参考源码及数据集

1、动量momentum

在常规的梯度下降方法中，通常将梯度值视为参数优化过程中所采用的调整方向，而学习率则被定义为沿着该方向移动的步长。参数梯度的变化曲线往往呈现出波动且不规则的形态，其中包含多个梯度较低的区域。如果此时直接利用学习率对参数进行更新，容易导致模型陷入局部最优解。然而，若结合历史梯度信息对参数进行调整，则能够有效改变优化路径，从而提升收敛效率并规避局部最优问题。基于这一原理，深度学习领域提出了动量（momentum）算法作为解决方案。

动量这一概念源自于牛顿运动定律，在该定律中，动量是与物体的质量和速度相关的物理量，它描述了物体在运动方向上维持其运动状态的趋势。在深度学习中，动量引入了“速度”这一变量，用以表征参数在调整过程中的方向与速率。具体而言，通过将变量v与学习率相乘，并将其作为每次迭代中参数更新的增量来进行计算。其对应的数学表达式为：

![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/s9tzkAqx5J1hpL