Mxnet (22): 长短期记忆单元
发布时间
阅读量：
阅读量
LSTM模型是最早针对隐藏变量模型中信息存储与输入传递问题提出的一种解决方案之一。它不仅具备与Gated Recurrent Unit（GRU）相似的功能特性，在设计上也略显复杂。该方法源自于计算机领域的逻辑门机制，在实现对信息的有效管理方面采用了多层结构来实现对信息的控制
- 输出机制：负责从细胞中获取信息
- 输入机制：控制着数据输入的时间节点
- 忘记机制：负责清除细胞中的旧信息
这种设计也是为了需要时记住状态和不需要时忽略输入。
1. 长短期记忆
上面也阐述了LSTM架构包含了三类关键组件：输入机制、输出机制以及记忆机制。此外，在RNN模型的基础上发展出的一些变体形式则将隐藏状态扩展为专门的数据结构单元（cell），用于高效地存储关于时间序列数据的关键特征
1.1 输入门，遗忘门和输出门
与GRU类似, LSTM门接收当前时间步上的输入 \mathbf{X}_t以及前一步的隐藏状态 \mathbf{H}_{t-1}, 这些信息随后通过一个全连接层进行处理. 在S型激活函数的作用下, 输入门、输出门以及遗忘门的输出值均被限制在[0, 1]区间内. 如图所示, 展示了这些门之间的数据流动关系.
还没有任何评论哟~