Transformer学习笔记一：Encoder-Decoder与Seq2Seq
发布时间
阅读量：
阅读量
近期经常浏览与Transformer相关的学术论文，并已知其发展势头强劲。然而由于对其机制尚不熟悉，在此决定系统地整理并记录Transformer的学习历程。自基础部分起逐步深入探讨，并在此过程中进行详细记录。
Encoder-Decoder，Seq2Seq
- 什么是seq2seq& encoder-decoder
- Encoder
- Decoder
本篇学习笔记主要参考 这篇blog
什么是seq2seq& encoder-decoder
常见应用场景属于自然语言处理（NLP）领域。例如，在机器翻译中：
英语输入：“They”、“are”、“watching”、“。”
法语输出：“Ils”、“regardent”、“。”
我们的目标是实现这一翻译任务。
在该任务中，默认情况下输入与输出序列长度可能不同。
变长序列编码器（encoder）用于处理不定长度的输入序列，
而解码器（decoder）则负责生成长度可变的输出序列。
这两者共同构成了Seq2Seq模型，
并被设计用于同时完成这两个关键环节的功能。
还没有任何评论哟~