深度理解机器学习的门控循环单元（第16章）

·评估简单循环神经网络的缺点。

·描述门控循环单元（Gated Recurrent Unit，GRU）的架构。

·使用GRU进行情绪分析。

·将GRU应用于文本生成。

基本RNN主要由输入层、输出层以及多个相互连接的隐藏层构成。最简单的RNN模型存在一个局限性,即无法维持长序列的信息联系。为了改善这一局限性,在简单RNN的基础上引入了一种独特的结构,称为门控循环单元（GRU）。

梯度爆炸

在神经网络训练中，我们经常会遇到梯度消失与爆炸的问题。这表明，在某些情况下（如权重初始化不当），前一层的学习速度过快，在前后迭代之间的参数变化幅度较大。这会导致后一层的学习效率显著下降甚至停滞不前。具体而言，在优化过程中若某单一元素的绝对值显著超过1，则会引发乘积效应导致最终的损失函数出现较大的波动性表现（即所谓的" exploding gradient"）。为了深入理解这一现象的本质成因，请重新审视我们的数学模型推导过程。

对抗性训练中的梯级爆炸问题通常可通过梯级裁剪技术得到有效应对。具体而言，在应用该技术时，默认会设定一个阈值以限制梯级的最大幅度。如果不进行此操作，在计算机运算过程中可能会