Mxnet (37): word2vec pretraining

阅读量：

1. 预训练

根据batch_size为512，最大移动窗口为5，噪声词数量为5，获取数据。

复制代码

    from d2l import mxnet as d2l
    from mxnet import np, npx, gluon, init, autograd
    from mxnet.gluon import nn
    import pandas as pd
    import os 
    import math
    import random
    from plotly import express as px
    npx.set_np()
    batch_size, max_window_size, num_noise_words = 512, 5, 5
    data_iter, vocab = load_data_ptb(batch_size, max_window_size, num_noise_words)

1.1 使用Skip-Gram 模型

基于低维向量表示以及分批次进行计算以提高效率的方法被用来构建Skip-Gram模型。这种方法不仅适用于自然语言处理领域，在其他如信息提取和文本生成等任务中也有广泛应用。

1.1.1 嵌入层

将用于表示单词的层定义为嵌入层，在Glu

全部评论 (0)

还没有任何评论哟~