Peephole LSTM和GRU实战 Peephole LSTM和GRU实战
发布时间
阅读量：
阅读量
在前文中已经介绍了 LSTM 的两个改进版本 Peephole LSTM 以及 GRU 的基本原理，接下来的内容将围绕这些模型展开实际应用，通过文本生成任务分别进行实现，并对不同方法的性能进行比较分析。
首先，我们将借助 TF1 框架编写代码，手动构建 LSTM、Peephole 和 GRU 模型，以此观察在搭建过程中各模型之间的差异性。随后，再利用 Keras 提供的 API 方式来完成模型的搭建与使用。
LSTM、Peephole 源码对比
首先对LSTM与Peephole LSTM进行对比分析，现先回顾相关模型的数学表达式：
（以下代码左侧为 LSTM，右侧为 Peephole LSTM）
首先设定输入门相关的参数：
- ix 表示 U_i，即输入门对 x_t 的权重参数；
- im 表示 W_i，即输入门对 h_{t-1} 的权重参数；
- ib 对应公式中的输入门偏置项 b_i，属于输入门的偏置参数；
- ic 表示 P_i，即输入门对 c_{t-1} 的权重参数。
全部评论 (0)
还没有任何评论哟~