机器学习——梯度下降法的收敛性证明与详解

在阅读前请注意此处 👉：博主是一名正在深入学习数据相关知识的学生，无论在哪个领域，我们都应保持学习者的姿态，不应被身份标签所束缚，从而限制自身的学习范围。因此，本博客记录的是在学习过程中的部分总结与思考，也期待与大家共同进步。在撰写过程中，难免存在诸多疏漏与不足之处，若发现任何问题，欢迎私信博主进行指正。
博客链接：天阑之蓝的博客，在学习的道路上难免遇到困难与困惑，希望每位读者都能在这个过程中不断肯定自我、突破自我，并最终实现自我价值。

目录

• 1.梯度下降法的基本原理及其功能
  • 2.梯度下降为何能够实现收敛？
  • • 1.泰勒展开式
    • 2.借助泰勒公式寻找损失函数的极小值

撰写这篇博客的原因是什么呢？因为在博主参加面试时，曾被面试官提出这一问题，但当时未能给出满意的回答。此外，博主也曾在网络上查阅过大量相关内容，关于梯度下降为何能实现收敛的问题，许多解释都显得不够明确，部分内容甚至涉及最优化或凸优化的数学推导过程，确实较为复杂。后来博主观看了李宏毅2020年版的机器学习课程视频，在其中找到了较为清晰的解释，因此决定借鉴其内容进行整理，既为了解决自身的疑问，也为帮助他人答疑解惑。

有关梯度下降法的内容，博主此前已在两篇文章中有所介绍，分别是：
1.[数据分析面试【面试经验】--