循环神经网络（Recurrent Neural Network）

今天的学习材料是这篇文档，内容非常详尽，既包含理论知识也附带代码示例，本文将对一些细节进行补充，建议将两者结合阅读以获得更全面的理解：
https://zybuluo.com/hanbingtao/note/541458

在文章末尾附有与 RNN 相关的资料汇总，此前撰写的内容多为模型结构、公式推导以及部分应用场景的概述，而本次重点则聚焦于训练算法的详细推导过程。

文章框架如下：

1. 模型描述
2. 训练算法解析
3. 基于 RNN 构建语言模型的实例
4. 具体代码实现

---

模型构建与设计

• 与全连接网络的差异
  • 更精细到向量层级的连接结构
  • 解释为何循环神经网络能够回溯任意数量的输入数据

循环神经网络具有多种类型，本文仅探讨最基本的一种。掌握这一基础后，进一步理解其扩展形式将不再是难题。

首先分析其与全连接网络的不同之处：

如下图所示为一个全连接网络：
该网络中隐藏层的输出值仅由输入 x 所决定

RNN 中隐藏层的输出值 s 并非仅由当前输入 x 决定，同时还会受到前一时刻隐藏层状态 s 的影