优化问题 | 梯度下降的知识梳理及其Python实现方式与batch_size参数的总结

文章目录

• 综上所述

• 这是机器学习中三种主要形式的学习过程
  第一种情况
  **批量梯度下降法（Batch Gradient Descent, BGD）**采用了整体的数据集来进行计算，在每一次迭代中都会遍历并更新所有的模型参数这一特点使其能够全局优化目标函数从而获得较为精确的最优解
  第二种情况
  **随机梯度下降法（Stochastic Gradient Descent, SGD）**则通过逐一处理每一个样本来进行参数更新的方式具有较高的计算效率但也容易陷入局部最优解的风险这是因为其更新机制仅依赖于单个样本的信息导致更新方向不够稳定
  第三种情况
  **小批量梯度下降法（Mini-batch Gradient Descent, MBGD）**结合了上述两种方法的优势即在一定程度上减少了随机性又提高了计算效率这种方法通常会选取几十到几百个样本组成一个mini-batch并在每个batch内部进行参数更新以此平衡全局优化与快速收敛之间的关系
  第四种情况
  在Python中实现这些算法时需要注意哪些细节呢？这里我们先从基础的梯度计算开始逐步掌握每一种方法的独特之处以及它们在实际应用中的优缺点
  第五种情况
  通过这些算法的学习我们可以更好地理解机器学习模型背后的优化机制从而为后续的研究和应用打下坚实的基础

• 3 更好的优化方