机器学习梯度下降

前言

由于具备计算机视觉背景，在转向推荐系统研究的同时

梯度下降算法是

在数学意义上

在介绍梯度下降之前，请先理解为什么负梯度方向被认为是f(x)减少最快的方向？背后涉及到了泰勒的知识，请允许我们首先聚焦于这个问题，并简单推导一下原因为何

一、Why负梯度方向下降最快

众所周知，沿梯度方向的方向导数可以来描述函数的最大变化率，即梯度方向是函数变化率最大的方向，这个也是梯度的定义。 这里不太明白的小伙伴可以先去看一下这方面的数学知识，在这里我就不搬运教材图片了。这里我们假设函数f ( θ ) 是一个多元函数， 那么我们由泰勒把这个函数进行展开至一阶导数的位置， 就会得到：

我们知道这里的f ( θ ) , f (

这个运算结果是一个标量，并即为标量化为一个数值型的结果。其后两项均为向量化为多个分项相加的形式；而经过点积运算后则成为了一个标量化为一个