RNN 的反向传播求导

关于 RNN 循环神经网络的反向传播求导

本文阐述了循环神经网络（RNN）中每个神经元反向传播求导的数学推导过程，并在此基础上展示了如何通过编程实现对导数公式的验证。

RNN 神经网络架构

一个普通的 RNN 神经网络如下图所示：

其中，在时间步 t 时的输入数据为 x^{\langle t \rangle}；神经网络在时间步 t 处的状态量为 a^{\langle t \rangle} ，即该状态会被传递至t+1；输出结果则表示为该时间步t处经过计算所得的结果，在预测任务中以及采样操作中都会使用到此输出结果作为t+1处的初始条件。接下里将详细阐述各变量的具体维度设置。

• 输入：\bm{x}\in\mathbb{R}^{n_x \times m \times T_x} 其中n_x表示每个时间段输入向量的具体长度；批次大小为m(\texttt{batch})=\{\bm{x}_1,\dots,\bm{x}_m\}；时间步数为\tau = T_x = \{\tau_1,\dots,\tau_{T_x}\}。
• 隐藏状