机器学习课程：Python编程基础使用Tensorflow框架自然语言处理入门

RNN 模型

与前后顺序有关的数据称为序列数据，对于序列数据，我们可以使用循环神经网络进行处理，循环神经网络RNN已经成功的运用于自然语言处理，语音识别，图像标注，机器翻译等众多时序问题；RNN模型有以下类别：

SRNN模型

在全连接模型中，
输入向量为X\in\mathbb{R}^{1\times d}，
权重矩阵为W_X\in\mathbb{R}^{n\times h}，
偏置向量为B\in\mathbb{R}^h
：则输出为

H = f(XW_X + B)

其中当输入向量为X_i\in\mathbb{R}^{1\times d}时，
输出向量为

H_i = f(X_iW_X + B)

为了使当前隐藏层的状态能够携带前一时刻信息的影响，
我们可以将状态更新函数进行如下修改：

H_i = f(X_iW_X + B + H_{i-1})

进一步优化思路是给前一时刻的状态增加权重以增强灵活性，
因此改进后的状态计算公式为：

H_i = f(X_iW_X + H_{i-1}W_H