十三、机器学习高级内容：反向传播算法（自适应矩估计方法的Adam变体包括Adamax和Nadam）

文章结构概述

• 自适应矩估计算法（Adam）的两种改进形式

  • 1、Adamax算法的运作机制

  • 2、Nadam算法的运作机制

  • 3、算法的具体实现方式

  • • 3.1 Adamax的训练流程
    • 3.2 Adamax的测试流程及相关结果分析
    • 3.3 Nadam的训练流程
    • 3.4 Nadam的测试流程及相关结果分析

  • 4、相关代码实现与所用数据集

自适应矩估计算法（Adam）的两种变形形式

在自适应矩估计方法的基础上，研究者们又发展出了两种变体形式，其中一种的英文命名是Adamax，另一种则被称为Nadam。
自适应矩估计方法的理论依据可参考以下链接：
神经网络之反向传播算法（自适应矩估计算法Adam）

1、Adamax算法原理

Adamax算法主要对参数更新量的计算公式进行了优化，其中原公式中分母部分涉及对二阶矩估计值进行开方运算。

该部分的确定过程所采用的公式如下所示：

![在这里插入图片描述](https://cdl.