李宏毅ML+DL学习笔记：Seq2Seq模型

一.RNN review：

更多细节请参考 ↓ 李宏毅ML+DL学习记录：RNN

二. sequence generation

f代表一种神经网络模型如Naive RNN或LSTM或GRU
假设我们希望让它生成诗句"床前明月光"（这里神经网络已经完成训练），以下是具体操作步骤：
第一步：向模型提供初始状态h0和输入x₁（bos），这两个input经过函数f处理后得到了y₁和h₁两个output。其中y₁表示概率分布P(w|) ，即在初始状态出现的情况下各个单词出现的概率分布。通过采样或argmax方法得到下一个词是‘床’。
第二步：基于上一步的状态h₁（携带信息）以及当前输入x₂（即‘床’），将这两个input代入函数f中得到新的输出y₂和更新后的状态h₂。此时的输出概率分布为P(w|,“床”），即在已有信息<'BOS','床'>的情况下预测下一个单词的概率分布，并通过采样或argmax方法得到‘前’作为后续词语之一。
…
持续此过程直到从某个输出结果中采样或argmax获得标记时停止序