Advertisement

Mxnet: machine translation seq2s

阅读量:

1. 机器翻译和数据集

目前我们已经了解了如何将循环神经网络应用于语言模型:基于之前token预测下一个token。我们现在学习了一种新的应用模式——机器翻译,在其输出中不再是单个token而是多个 token 组成的列表。

机器翻译(MT)主要涉及将一段文本从一种特定的语言转换为目标的语言。通过神经网络解决问题的方法通常被称为神经机器翻译(NMT)。对比于仅包含单一语种的语言模型而言,机器翻译的数据集至少包含了两种不同类型的语料:源语种和目标语种。对于每个源语种句子进行相应的目标语种转换工作。这导致了机器翻译中的数据预处理与传统单语种模型之间的处理方式不同。

复制代码
    from mxnet import np, npx, gluon
    from d2l import mxnet as d2l
    import plotly.express as px
    import pandas as pd
    import os
    npx.set_np()
    ctx = npx.gpu() if npx.num_gpus() > 0 else npx.cpu()

1.1 读取和预处理数据集

获取数据集...其中内容以英语为来源和法语为目标语言。实际上这个资源是可以互换使用的...也就是说它本质上就是两种语言之间的

全部评论 (0)

还没有任何评论哟~