Mxnet /20: 循环神经网络
发布时间
阅读量：
阅读量
4. 循环神经网络
循环神经网络（RNN），通过潜在自回归模型（LSTM），使用隐藏状态来保持之前的信息。然而，隐藏层与隐藏状态是两个不同的概念。正如所解释的那样，在从输入到输出的路径中被隐式隐藏的是一些中间层——这些是所谓的隐藏层。从技术上讲，在给定时间步骤中我们所做的一切事情的输入只能通过查看先前时间步骤中的数据来计算它们，并且只能通过使用先前的时间步长中的数据来计算它们。递归神经网络（RNN）是具有这些记忆能力的神经网络结构的一种形式。
4.1 不含隐藏状态的神经网络
之前应用MLP即为不含隐层状态的神经网络模型，在学习过程中可以随机选取特征标签配对，并借助自适应区分度和随机梯度下降方法来优化网络参数。
4.2 具有隐藏状态的循环神经网络
当存在隐式状态时，情况完全不同。与多层感知机相比，隐含变量能够捕获截止到当前时间步的序列的历史信息，类似于神经网络在当前时间步的状态或记忆。由于在当前时间步定义隐藏状态时使用了上一时间步的隐藏状态，因此上式的计算是循环的。使用循环计算的网络即为循环神经网络（recurrent neural network）。
还没有任何评论哟~