机器学习入门（第2版）

​

0.前言

前期博客阐述了机器学习的基础概念及其三要素。本期博客将深入分析三要素的算法部分及其具体实现细节，并详细阐述了学习模型的具体计算过程。

1、常用计算方法

梯度下降法、牛顿法、拟牛顿法、坐标下降法。

梯度下降法的改进型：AdaDelta，AdaGrad，Adam，NAG等。

1.1 梯度下降法

该算法通过在梯度相反的方向上寻找最低点来优化目标函数。
其迭代计算方式为：
x_{n+1}=x_n - \eta \nabla f(x_n)

​

基于一阶泰勒展开式，在负梯度方向上进行分析可知

梯度下降法仅能确保抵达梯度为零的驻点，并不能保证抵达全局极小值。通常将迭代终止条件设定为梯度值接近零或达到最大指定迭代次数。

梯度下降法在机器学习领域得到广泛应用，并且在深度学习中也占据重要地位。除了AdaDelta、AdaGrad、Adam和NAG等优化型梯度下降法外，在生成更新项时采用了不同的策略

1.2 牛顿法

该方法依赖于函数的一阶与二阶导数数据，并直接定位到目标函数的极小值点。其迭代关系式可表示为：$x_{k+1}=x_k - \f