十三、机器学习进阶内容：反向传播神经网络模型（A-G算法）

文章结构概览

• 自适应梯度算法（Adagrad）

  • 1、算法基本原理

  • 2、算法的具体实现方式

  • • 2.1 模型训练流程
    • 2.2 测试阶段的操作与所得结果

  • 3、相关代码示例及所用数据集

自适应梯度算法（Adagrad）

与传统的误差反向传播算法相比，自适应梯度算法（Adaptive gradient algorithm，Adagrad）在实现过程中采用了累计平方梯度的方式，取代了每次迭代时单独计算的梯度值。
关于反向传播算法及梯度原理的相关内容可参考以下资料：
神经网络之反向传播算法（梯度、误差反向传播算法BP）

1、算法原理

若某一参数对应的梯度值为g，那么自适应梯度算法需借助以下公式来求得其梯度值的平方累积结果：

初始时，r的数值设定为0。
随后，通过不断累积平方的方式，对每次迭代过程中的学习率进行修正，并利用修正后的学习率来求解参数的更新量。具体计算更新量所采用的公式如下：

![在这里插入图片描述](https://ad.itadn.com/