梯度下降法与随机梯度下降法的改进

题目（155）：在训练数据规模极为庞大的情况下，传统梯度下降方法面临哪些挑战，应当采取何种方式加以优化？
题目（158）：导致随机梯度下降方法失效的因素有哪些。
题目（160）：为提升随机梯度下降方法的性能，学者们分别进行了哪些调整？提出了哪些改进版本？这些变种方法各自具备哪些特性？即SGD的相关衍生算法。

梯度下降方法对比分析

(Batch) gradient descent

\textcolor{blue}{\text{Advantages}}

• unbiased estimate of gradients
• non-increasing trajectory if the loss function is convex

\textcolor{red}{\text{Disadvantages}}

• may result in local minima for non-convex problems

Stochastic gradient descent

    (Pseudo-code of SGD [2])
    · Choose an initial vector of parameters w and learning rate α.
    · Repeat until an