序列到序列网络seq2seq与注意力机制attention浅析 序列到序列网络seq2seq和注意力机制attention

序列到序列网络

该段落介绍了sequence-to-sequence网络的基本概念及其在机器学习中的重要性，在这一部分中进行介绍是为了明确变量命名规则，并为后续阐述注意力机制奠定基础。

自编码器也被视为seq2seq模型的一种。其解码过程旨在将编码器输出的向量重构为原始序列的形式。压缩过程中不可避免地会带来信息损失，在实际应用中我们通常会通过合理设置中间向量大小以及进行多轮训练与迭代优化来尽可能减少这种信息损失。相关理论本身在这里讲得不是很清楚

编码器

将长度不固定的输入序列转换为固定长度的背景变量c并在此背景变量中对其进行编码以提取相关信息。其中编码器可采用循环神经网络结构

在时间步t时，在循环神经网络中输入特征向量x_t与上一时间步的状态h_{t−1}通过特定机制被转换为当前时刻的状态h_t。

基于上述描述的编码器构成一个单向循环神经网络模型，在其运行过程中其隐藏层的状态仅由当前时刻及之前所有输入组成的子序列所决定。此外，在某些应用中我们可以构建双向循环神经网络作为编码器模型，在这种情况下，在每一时刻上层神经元的状态不仅受前一个时间段内所有输入的影响，并且还能捕捉到后续时间段内的相关信息。

解码器

在每个时间步t'时，在解码器中生成的输出变量y_{t'}的概率将基于前面生成的所有输出结果以及一个共享的背景变量$c