测试和训练Seq2seq模型

什么是seq2seq?

在⾃然语⾔处理的多种多样的应用场景中，输入与输出都可以被视为不定长度序列。

英语输⼊：“They”、“are”、“watching”、“.”

法语输出：“Ils”、“regardent”、“.” 不定长序列

当输入与输出均为不定长度序列时

编码器负责解析输入序列；解码器则用于创建输出序列；这两个循环神经网络通过协同训练得以优化。

该系统展示了通过编码器与解码器结合实现将英语句子翻译成法语句子的技术流程。
系统架构设计中，在训练数据集中，在每个英语句子末尾通常会附加一个特殊符号 以标识序列结束。
具体而言，在这个系统架构中，
编码器在每个时间步接收的输入依次是英语句子中的单词、标点符号以及附加的一个特殊结束标记。
如图所示，
在这个模型架构中，
解码器在每一个时间步骤中利用输入 sentences 已经被 encoder 编码的信息、前一时间段生成的结果输出以及当前的状态来进行下一步运算。
特别地，
在这个模型架构中，
解码器的第一个时间段的状态初始化采用了起始标记

。

编码器