基于Transformer的结构

文章结构概览

• Transformer架构

  • • 0. RNN的不足之处

    • 1. 整体架构范围

    • 2. 编码器模块

    • • 2.1. 多头注意力机制层
      • • 2.1.1 引入对自注意力机制的说明

    • 2.1.2. 返回至多头结构

      • 2.2. 全连接网络层

    • 3. 解码器模块

    • 4. 输出生成模块

    • 5. 位置编码技术

    • 参考资料：

Transformer结构解析

与Bert论文相关的研究中，也引入了相应的关联结构。

0. RNN的缺点

RNN相关算法在计算过程中仅能按照从左至右或从右至左的顺序依次进行，这种计算方式引发了两个显著问题：

1. 在时间片 t 的处理过程中，其结果依赖于前一时刻 t-1 的运算结果，这种特性严重制约了模型的并行处理能力；
2. 在逐次计算的过程中，信息容易出现丢失现象。尽管诸如 LSTM 等门控机制在一定程度上缓解了长期依赖问题