Deep Learning 与 RNN 和 LSTM 的详解及其实现

RNN

1. 什么是RNNs
RNNs的主要用途是处理序列数据。在传统的神经网络架构中, 各层之间采用全连接设计, 而每一层之间的节点均为无连接状态.然而, 在面对许多实际问题时, 这样的传统架构往往显得力不从心.例如, 在进行自然语言处理任务时, 因为一个句子中前后单词并不是独立的. RNNs之所以被称为循环神经网路, 其核心特征在于当前输出依赖于前一时刻的状态.具体而言, 网络通过引入反馈连接实现了信息在各层间的传递.理论上而言, RNNs能够应对任意长度序列的数据建模.但在实际应用中, 为了简化计算过程, 通常假设当前状态仅受最近几个状态的影响.下图展示了典型的循环神经网络架构：

在图示中存在两条具有特定方向性的信息传输路径。其中一条路径是从输入节点通向隐层节点；另一条则以单向方向从隐层流向输出端。当特定条件下,RNN架构会将这种反向传播扩展到非连续状态,称为Back Projections。值得注意的是,隐层中的节点不仅接收来自前一层的信号,还可以通过自连接和相互连接形成复杂的动态网络。（这实际上就是LSTM）

为了便于理解和记忆，在