optimalization: RMSProp

RMSProp算法优化分析

提出动机

在AdaGrad的每次迭代过程中，由于分母中的变量s_t持续累加小批量随机梯度的元素平方值，因此目标函数自变量各元素对应的学习率在整个迭代过程中呈现持续下降或维持不变的趋势。这样一来，若AdaGrad算法未能在前期阶段寻得较为理想的解，在后续迭代中因学习率过低将更难以接近最优解。

RMSProp算法通过引入指数加权移动平均的方式对上述问题进行了优化。简而言之，该方法结合了动量法与AdaGrad的优势特性，从而提升了算法的整体性能。

算法

对每一轮迭代过程实施以下调整
s_t = \gamma s_{t-1} + (1-\gamma) g_t \circ g_t \\ \\ x_t = x_{t-1} - \frac{\eta}{\sqrt{s_t+\epsilon}} \circ g_t
在观察迭代路径时，我们继续采用动量法中所使用的示例目标函数进行分析。

    def rmsprop_2d(x1, x2, s1, s2, eta=0.4, eps=1e-6):
    g1, g2 = 0.2 * x1, 4 * x2
    s1 = gamma * s1 + (1 - gamma) * g1 *
    s2 = gamma * s2 + (1 - gamma)