神经网络常用的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法）

目录

1. 梯度下降法（Gradient Descent）

2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）

1）牛顿法（Newton's method）

2）拟牛顿法（Quasi-Newton Methods）

3. 共轭梯度法（Conjugate Gradient）

4. 启发式优化方法

5. 解决约束优化问题——拉格朗日乘数法

---

梯度：有时也被称为斜率，指的是一个曲面在某一特定方向上的倾斜程度。它表示函数在某一点处沿着该方向的方向导数达到最大值，意味着函数在此点沿该方向的变化最为迅速，变化率也最高。

梯度下降法是最早出现、最为基础且广泛使用的最优化方法之一。该方法实现起来较为简便，当目标函数为凸函数时，其求解结果能够保证是全局最优解。然而，在一般情况下，这种方法得到的解并不一定是最优的，同时其收敛速度也不一定是最快的。梯度下降的基本思路是利用当前位置的负梯度作为搜索方向，因为这个方向代表了当前点最快下降的趋势，因此也被称为“最速下降法”。随着接近目标值的过程推进，所采用的步长会逐渐减小，从而使得前进速度变慢。

在日常的生活与工作过程中，每个人都会面临形形色色的最优化问题。例如，在一定的成本限制下如何实现利润的最大化等议题便常常被企业和个人所