深度学习模型循环神经网络RNN

理解循环神经网络(RNN)及其重要结构LSTM

循环神经网络（recurrent neural network，RNN）作为一种深度学习架构，专为处理序列信息而设计，已在自然语言处理、语音识别、情感分析以及机器翻译等多个领域得到广泛应用。 本博文原创，转载需注明出处。

RNN网络结构解析

在循环神经网络架构中，一个关键的概率参数即为时间步，由于序列数据是按时间步依次输入的。该网络会在每个时间步对输入信息与当前模型状态进行整合，并据此生成相应的输出结果。其典型的网络结构如下：

其中x表示输入序列向量，h表示输出向量，s则代表网络隐层的状态。输入层与隐层之间通过参数矩阵u进行连接，而隐层与输出层之间的连接则由参数矩阵v实现，同时不同时刻的隐层状态之间依靠参数矩阵w进行关联。
上图左侧展示了RNN网络的经典结构，其主体结构s的输入不仅来源于输入层x，还包含一个循环边以提供当前时刻的状态信息，并且s的状态会传递至下一时刻。右侧则是RNN网络展开后的层次结构，在每一时刻都会存在一个输入_Xt_ ，同时当前状态也会产生一个输出_ht_ 。然而，循环神经网