循环神经网络RNN及LSTM

首先需要明确的是，若想真正掌握RNN这一概念，最佳方式应从数学层面入手，再结合图形进行辅助理解。在这一前提下，所有未从数学基础出发、直接展示图形的书籍、论文或教程都显得不够严谨。
循环神经网络本质上仍属于神经网络的一种，那么从数学角度而言，神经网络究竟意味着什么？它本质上是一种函数结构。常规的神经网络可以被简化为输入层、隐层和输出层三个部分。无论隐层内部包含多少层级，整体上都可以将其抽象为“单一”的隐层结构。该隐层作为一个函数模块，以输入层的数据作为输入参数，并通过计算得出相应的输出结果；而输出层同样作为一个函数模块，其输入来源于隐层的输出结果，并最终生成整个神经网络的最终输出。因此，一个完整的神经网络可以被看作是一个复合函数结构，由隐层与输出层共同构成。
RNN的独特之处在于其隐层的输入不仅来源于输出层的数据信息，还包括前一时间点（即上一次计算）所生成的隐层输出结果。严格来说，在每一个时间点t处，当前时刻的隐层数值h_{t}都是通过如下公式进行更新：

其中，f表示一个非线性激活函数，在简单情况下可采用sigmoid函数的形式，在复杂场景中则可能采用long short-term memory(LSTM)单元作为替代方案。实际上还存在超参数 W和b这两个变量，在上述公式中并未体现出来；而我们实际训练过程中所关注的重点正是这些超参数值的变化过程