Recurrent Neural Networks (RNNs) 的概述

循环神经网络RNN

• 1 经典RNN

• • 1.1 RNN结构

  • • 1.1.1 N vs N
    • 1.1.2 N vs 1
    • 1.1.3 One vs N
    • 1.1.4 N vs M
    • 1.1.5 Attention

  • 1.2 前向传播

  • 1.3 BPTT和梯度消失(爆炸)

• 2 LSTM

• • 2.1 Long-Term Dependencies

  • 2.2 网络结构

  • 2.3 Core idea

  • • 2.2.1 forget gate
    • 2.2.2 input gate
    • 2.2.3 output gate

  • 2.4 LSTM变体

• 链接

• • 参考论文
  • 参考博客
  • 莫凡Python

为了进一步提升自身技术能力，在最近的一段时间内我对 RNN 方面的知识进行了系统性研究以便更好地掌握这一

1 经典RNN

1.1 RNN结构

1.1.1 N vs N

这是典型的RNN架构设计。其输入由变量x₁,x₂,…,xₙ构成；其输出则为y₁,y₂,…,yₙ序列；这一过程要求输入与输出序列长度一致。由于这一限制条件的存在；传统RNN