机器学习进阶知识：神经网络的反向传播算法（均方根反向传播算法RMSProp）

文章目录

• 均方根反向传播算法（RMSProp）

  • 第一部分 算法原理

  • 第二部分 算法实现

    • 第一部分训练过程
    • 测试过程及结果

  • 3、参考源码及数据集

均方根反向传播算法（RMSProp）

自适应梯度算法（Adaptive gradient algorithm, Adagrad）能够让网络中的各个参数在每次迭代过程中依据自身特性动态调整学习率。然而该算法仍存在不足之处：由于其对历史梯度信息进行平方求和累积的过程，在经过足够多次的迭代后会使得累积平方值迅速增大。最终会导致计算出的学习率变得极其微小，并因此使得各参数更新量显著缩减至趋近于零的状态。这样一来不仅更新速率会停滞不前而且训练过程也会随之中断。

自适应梯度算法（Adagrad）原理参考：

1、算法原理

均方根反向传播算法相较于自适应梯度算法在具体实现上主要改动在于采用了更为精细的方法来计算累积梯度的具体数值，并且这一创新使得算法在处理复杂数据时表现出更好的收敛特性

其中ρ代表衰减系数。
梯度g的计算原理涉及：
[神经网络之反向传播算法（梯