Advertisement

浅谈Transformer

阅读量:

本篇文章借鉴了以下网络资源,若存在疑问,建议查阅原始资料**
参考文章1
参考文章2
参考文章3

整体结构

参考图片1

Transformer本质上属于一种序列到序列的模型架构,其结构包含左侧的编码器用于处理输入数据,以及右侧的解码器负责生成输出结果。

参考图片2

Encoder(N=6层,每层包括2个layers)

其核心结构主要由自注意力机制与前馈神经网络两个部分组成

![参考图片3](https://ad.itadn.com/c/w

全部评论 (0)

还没有任何评论哟~