深度学习笔记——RNN技术精讲

RNN（ Recurrent Neural Networks循环神经网络）

循环神经网络的主要功能在于处理与预测序列数据，在全连接或卷积神经网络中，默认流程是从输入层经由隐含层至输出层展开操作，在各相邻层之间均为全链接或部分链接结构但各节点间并无直接联系。针对如何预测句子中的下一个单词这一问题而言，在进行该过程时通常需要依赖当前单词及其前面所有单词的存在性原因在于语言中的前后单词并非独立存在例如当前单词为"很"而前一词为"天空"则下一词很可能就是"蓝"这一现象恰被循环神经网络所刻画其核心在于描述序列当前输出与其之前信息之间的关系通过其结果表现出来的作用在于记忆前一时刻的信息并将其影响传递给下一时刻这表明在隐藏层之间存在相互联系

如图所示的典型RNN架构中包含许多关键组件。在时间序列数据处理中，时刻是一个核心概念。每个时间步接收当前输入，并结合模型当前的状态来生成输出。从图中可以看出，在主体结构A中不仅接收来自输入层Xt的信息，并且通过循环连接保留并传递当前状态信息。同时，在处理完当前时间步后，在下一步迭代中会利用这一状态进行后续计算。

我们将这个循环展开，可以很清晰地看到信息在隐藏层之间的传递：