随机梯度下降法用于求解SVM（附Matlab代码）

线性支持向量机模型的求解过程中，通常采用随机梯度下降法（Stochastic Gradient Descent）作为优化手段：

w 的梯度计算结果为：

传统梯度下降算法在每次迭代过程中需要对全部样本进行计算，对于一个包含n个样本且每个样本具有d维特征的数据集而言，单次梯度计算的复杂度为 O(nd) 。当数据规模庞大且迭代次数较多时，该方法会导致程序执行时间显著延长。

随机梯度下降算法在每次迭代时不再追求确定全局最优的下降方向，而是采用梯度的无偏估计作为替代。其参数更新过程具体表现为：

鉴于随机梯度法在每次迭代过程中仅利用单一样本对整体最优梯度方向进行估计，因此为使随机梯度下降过程更贴