优化算法：Adam

Adam算法

提出动机

RMSProp算法的小批量随机梯度被赋予了指数加权移动平均的处理方式，而Adam算法在此基础上进一步进行了改进。

算法

设定超参数0 \le \beta_1 < 1（算法设计者推荐取值为0.9），以及超参数0 \le \beta_2 < 1（算法设计者推荐取值为0.999）。

在每次迭代过程中，进行如下调整：
v_t = \beta_1 v_{t-1} + (1-\beta_1) g_t \\ \\ s_t = \beta_2 s_{t-1} + (1-\beta_2) g_t \circ g_t \\ \\
鉴于v与s均被初始化为零值，在时间步t时，可得出以下表达式：
v_t = (1-\beta_1) \sum_{i=1}^t \beta_1^{t-i} g_i
通过将各个历史时间步所对应的小批量随机梯度乘以相应的权重后相加，可以得出：
(1-\beta_1) \sum_{i=1}^t \beta_1^{t-i} = 1 - \beta_1^t
需要特别指出的是，当t的数值较小时，历史时间步小批量随机梯度的加权总和将相对较小。比如，若\beta_1=0.9，则v_1=0.1g_1。为了消除这一影响，在任意时间步t中，我们可以将v_t再除