深度学习——LSTM

文章目录

• 1. RNN
• 2. LSTM

1. RNN

记住所有信息。

（1）定义与特性
由于其在处理序列数据时表现出色，在每个时间步t中，前一时刻t-1的所有隐层节点都会被传递给当前时刻t作为输入。

（2）问题

1. 长时记忆能力：当时间段划分不断增大时，在RNN中无法维持长期保持关联复杂信息的能力逐渐减弱。
2. 梯度衰减：导致梯度消失与梯度爆炸的现象源于递归权重矩阵连续相乘的结果。

该模型旨在通过采用门机制来调控信息的流动与遗忘以解决RNN的长期依赖问题。

2. L