记忆能力的RNN

在阅读导中提到过序列数据的概念，在此基础上阐述了其显著特征在于存在顺序属性，并进一步指出RNN凭借其记忆能力能够处理这类数据

现实世界中的许多问题都以序列为研究对象，在自然语言处理领域几乎所有的问题都紧密关联于序列数据这一特点尤为突出。段落可以被视为由多个句子组成的有序集合，在这种结构下每个句子则由一系列连续排列的单词构成而每个单词本身又是一个由字母组成的有序排列体。进一步地音频视频信号通常被分解成一系列连续帧构成的数据流。

在所有这些应用中, 序列数据的顺序至关重要, 一旦发生改变, 其含义必然随之发生变化.

前馈神经网络在处理这类问题时存在明显的局限性, 因为它们假设输入数据是相互独立的; 这种假设会导致信息中的许多模式被遗漏.

下面让我们深入剖析RNN的基本架构及其运算机制，探讨其具备处理序列数据所需的记忆能力。

本文将讲述以下内容：

1. RNN 架构
2. RNN 的正向传播

• 其记忆能力源自何方？

3. 损失函数的设计
4. BPTT 是如何工作的？

• 其中一个问题为何而来？
• 针对这一现象有哪些应对策略？

5. 基于基本 RNN 的垃圾邮件分类方法

1. RNN 模型

RNN 译为循环神经网络，即这种网络的神经元之间形成了一个有向循环。

1. 那首先来看一下基本 RNN 的结构：

![FO