机器学习系列手记（七）：优化算法之随机梯度下降法
发布时间
阅读量：
阅读量
优化算法
随机梯度下降法概述
在机器学习领域，目标函数往往被用来表达优化问题的求解对象
其中 \theta 代表需要进行优化的模型参数， x 表示输入到模型中的数据， f(x,\theta) 则为模型根据输入和参数生成的实际输出结果， y 为期望得到的输出值。损失函数 L 用于衡量模型在给定数据样本 (x,y) 上的误差程度，而 P_{data} 描述了数据的整体分布情况， E 表示数学期望。由此可知， L(\theta) 反映了当模型参数设定为 \theta 时，在全部数据集上所获得的平均损失值。
我们的目标是寻找到能够使平均损失达到最小值的最优参数配置，即通过求解如下优化问题来实现：
\theta^*=arg min L(\theta)
传统梯度下降方法通常以所有训练样本对应的平均损失作为目标函数的近似表达形式，即
还没有任何评论哟~