构建语言模型

语言建模

语言建模（language modeling）主要关注于预测句子中下一个可能出现的单词的任务。更为具体的表述是，在已经出现的所有词的前提下……概率分布。

语言模型

传统模型

假设当前词与之前所有的词有关。
P(w_1, w_2, \ ...\ , w_T) = \prod_{t=1}^T P(w_t | w_{1}, \ ...\ , w_{t-1})
缺点

1. 参数过多，计算复杂

n元语法模型

n元的英文是N-Grams (n-gram)。 句子中连续的n个单词。

这里的马尔可夫定义为一个词仅受前面n个词的影响，并将其视为n阶马尔可夫链

优点

1. 简化了语言模型

缺点

1. 对于较小的n值而言，其语法结构常存在局限性
2. 较大的n值可能会消耗大量计算资源及内存空间，并可能导致模型结构变得更为稀疏

固定窗口神经语言模型

我们专注于固定长度的窗口区间。该段文本将被截断为类似于ngram结构的短句，并输入到模型中。在每个时间步上计算当前词的概率分布情况，在此过程中交叉熵(cross entropy)将被用作衡量预测误差的标准。

![](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/