循环神经网(RNN)测试和训练长期记忆网(LSTM)

文章结构概览

• 循环神经网络(RNN)
  • • RNN的网络架构
    • RNN中神经元的数量
    • RNN的前向计算过程
    • RNN的反向计算过程
    • RNN所面临的梯度消失难题

  • 长短期记忆网络(LSTM)

  • • LSTM的结构组成
    • LSTM的反向传播机制
    • LSTM中神经元的数量配置

循环神经网络(RNN)

当所处理的数据表现为时间序列形式，并且序列长度存在差异，每个时间点均包含数据，如<\dots , x_{t-2}, x_{t-1}, x_{t}, x_{t+1},x_{t+2}, \dots>，那么在不同时间点上的数据之间很可能存在某种关联性。

针对此类数据，若考虑采用DNN或CNN模型，首先需要注意到DNN与CNN的batch维度在处理过程中并不具备显著作用。这是因为，在前向传播阶段，batch内的各个样本是相互独立进行计算的；而在反向传播过程中，误差仅被简单地相加。因此，DNN与CNN难以有效捕捉batch中数据在时间维度上的相关性。另一方面，如果可以明确知晓该类数据的时间连续性仅存在于前100个时间点内，则可以通过增加DNN输入层的神经元数量或CNN输入通道的数量至100个的方式，将前100个时间点的数据作为特征x输入模型中，从而预测当前时间点的目标