快速梯度下降法（SAGA）

SGD

针对目标函数：

目标函数优化流程:

1. 对索引j进行随机旋转操作，即对应函数f_j(x)；

2. 对参数x实施更新操作，所采用的随机梯度下降公式为:

SAGA(STOCHASTIC VARIANCE REDUCTION METHODS)

目标函数优化流程:

1. 对索引j实施随机旋转操作，即对应函数的变换过程；

2. 针对前述目标函数，应用SAGA算法进行参数更新，其计算公式为:

\phi_j^{k+1}=x^k.

SAGA代码:https://github.com/adefazio/point-saga