深度学习：梯度下降/爆炸（十）

文章结构概述

• • 导数与方向导数

    • 梯度

    • 梯度下降

    • • 举个栗子

    • 梯度爆炸与消失

    • • 如何判断梯度是否出现了问题？
      • 引起的原因
      • 解决方案

    • 总结

今日整理的内容主要围绕梯度展开。通过本文，能够掌握梯度的基本概念，理解梯度如何实现下降过程，以及参数是如何借助这一过程进行更新的。同时还将探讨在下降过程中可能出现的梯度消失与爆炸现象，并分析其成因及对应的应对策略。

导数与方向导数解析

对导数最基础的解释可以理解为：函数在某一点处切线的倾斜程度，即被定义为该点的导数。若希望从数学表达式角度进行理解，设函数y=f(x)，当自变量在x_0位置发生\triangle x的变化（此变化为增量）时，对应的函数值也会产生一个变化量\triangle y。我们规定：当\triangle y与\triangle x之比，在\triangle x趋近于0时的极限存在（设该极限值为a），则表示为：
$\lim_{\triangle x\to 0}\frac{\triangle y}{\triangle x}=\lim_{\triangle x\to 0}\frac{f(x_0+\triangle x)-f(x_0)}{\tr