Advertisement

深入解析LSTM结构及其功能

阅读量:

今日涉及的内容包括:

  1. LSTM 的设计原理
  2. LSTM 的正向计算过程
  3. LSTM 的反向传播机制
  4. 参数调整的相关内容

LSTM

长短时记忆网络(Long Short Term Memory Network, LSTM) 是一种对传统循环神经网络进行优化后的模型,能够有效克服常规RNN在处理长序列依赖关系时所面临的局限性,当前在各类应用场景中具有较高的使用频率。

长短时记忆网络的核心思想

原始的RNN结构中,隐藏层仅包含单一的状态变量h,该变量对近期输入信息具有较高的敏感性。若在原有基础上引入另一状态变量c,用以存储持久性信息,则可将其定义为单元状态(cell state)。

将上图依据时间轴进行延展:

在时间点 t,LSTM 模块所接收的输入包含三个组成部分,分别是当前时间步的输入数据 x_t、前一时间步所输

全部评论 (0)

还没有任何评论哟~