transformers

Transformer模型结构解析

本部分内容主要阐述transformer模型的实现方式
2017年，Google在论文Attention is all you need中首次提出transformer模型，该模型采用self-attention结构，替代了传统NLP任务中广泛应用的RNN网络结构。相较于RNN结构，transformer模型的优势在于能够实现并行计算，其整体架构如图1.1所示：

![

](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/aT9pCtVxN3jByW0XFYIgvHOLZdRb.png)

Transformer模型概述

首先，将transformer模型暂且当作一个黑箱系统来考虑，如图1.2所示：在执行机器翻译任务时，输入为一种语言的某个句子，输出则为另一种语言对应的句子。

![

](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/HxNvSJ2dFtCIUufBOG8eEgbXA5Qj.png)

Transformer架构本质上采用的是Encoder-Decoder结构，因此在架构的中间部分，该模型可以