在机器学习算法模型参数求取的过程中，在解决无约束优化问题时，“Gradient Descent”是最常用的优化方法之一；而另一种常用的优化方法则是最小二乘法。这里我们对梯度下降法进行一个全面的总结与阐述。

1. 梯度

在微积分学中，在多元函数的情形下计算各变量关于其变量的一阶偏导数值，并将这些一阶偏导数值按照一定的顺序排列起来形成一个向量形式的结果即为此处所指的梯度。举个例子来说对于二元函数z = f(x,y)，我们分别计算它对于x和y的一阶偏导数值得到的结果即为该函数对应的梯度向量记作grad f(x,y)或∇f(x,y)，即具体表现为(∂z/∂x, ∂z/∂y)^T 或者∇z^T的形式。而在某一点P₀=(x₀,y₀)处的具体梯度值则为将该点坐标代入上述表达式得到的结果也就是(∂z/∂x|x=x₀, ∂z/∂y|y=y₀)^T 或者∇z|_{P₀}的形式类似地对于三元及以上情况也可以按照相同的方式展开讨论

那么这个梯度向量求出后有什么意义呢？在几何意义上讲, 函数值增长最快的方向即为此处的梯度方向.具体而言, 对于函数 f(x,y), 在点 (x₀,y₀), 沿着梯度向量方向进行时, 函数 f(x,y) 的增长速度最大.因此, 在这个方向上更容易找到函数的最大值.反过来, 在负梯度方向上移动时, 函数 f(x,y) 的减少速度最快, 也更容易找到函数的最小值.