机器学习—多种梯度下降方法 概述

阅读之前看这里 👉：博主是一名正在学习数据类知识的学生，在每个领域我们都应当是学生的心态，也不应该拥有身份标签来限制自己学习的范围，所以博客记录的是在学习过程中一些总结，也希望和大家一起进步，在记录之时，未免存在很多疏漏和不全，如有问题，还请私聊博主指正。
博客地址：天阑之蓝的博客，学习过程中不免有困难和迷茫，希望大家都能在这学习的过程中肯定自己，超越自己，最终创造自己。

目录

• 一、批量梯度优化方法（Batch Gradient Descent）
• 二、随机梯度下降(SGD)
• 三、小批量优化方法（Mini Batch Stochastic Gradient Descent）
• 四、在线优化算法(Online GD)

机器学习领域中的梯度下降（Gradient Descent, GD）算法主要应用于那些仅需计算损失函数一阶导数的情况，在这些应用中这一算法的计算成本较低且特别适合处理海量数据的情形。

梯度下降法的本质易于理解；它通过沿着当前点处的梯度方向进行寻优计算来确定下一步的位置。
然而，在实际应用中为了提高优化效率并适应不同场景需求
存在衍生出批处理（Batch GD）、小批量处理（Mini-batch GD）以及在线学习（Online GD）等变种。

batch、mini-batch、SGD、onl