《动手学深度学习》第4课

动手学深度学习-学习笔记task4

• 0. 学习任务

• 1. 机器翻译

• • 1.1 机器翻译任务的步骤

  • 1.2 Seq2Seq 模型

  • • Encoder-Decoder
    • seq2seq 的整体结构：
    • 代码实现
    • 损失函数

  • 1.3 Beam Search

• 2. Seq2Seq模型+Attention

• 注意力机制

• • 注意力机制框架

• 3. Transformer

• 4. 参考链接

《动手学深度学习》课程内容位于GitHub平台：Dive-into-DL-PyTorch. 在本次学习过程中，我们使用PyTorch进行代码实现。

0. 学习任务

机器翻译及相关技术；注意力机制与Seq2Seq模型；Transformer

1. 机器翻译

机器翻译（machine translation）

1.1 机器翻译任务的步骤

数据预处理

读取数据，并将数据集清洗、转化为神经网络输入的minbatch

• 读取数据 ，并进行数据清洗

    def preprocess