QRNN quasi recurrent neural networks

keras代码:https://github.com/DingKe/qrnn

QRNN是一种用于提升LSTM运算效率的算法，其模型架构具体如下:

QRNN的结构包含两个主要处理阶段，第一阶段为卷积层，其核心功能在于对输入数据进行特征提取。第二阶段则为池化层，主要作用是实现特征维度的缩减。与传统池化方法存在差异的是，QRNN创新性地引入了fo-pool计算方式，其具体的数学表达形式如下所示。

卷积层:

针对输入X，依次经过三个卷积层与非线性处理单元，可分别获得Z、F、O三个输出变量，其数学表达式如下所示：

Z=tanh(W_z*X)

F=\sigma(W_f*X)

O=\sigma(W_o*X)

其中，W_z, W_f, W_o 表示尺寸为 R^{kxnxm} 的卷积核参数。当卷积核的宽度设定为2时，上述公式可以进一步展开为以下形式：

Z=tanh(W_z^1*X_{t-1}+W_z^2*X_{t})

F=\sigma(W_f^1*X_{t-1}+W_f^2*X_t)

$O=\sigma(W_o^1*X_{t-1}+W