语言模型是n元语法模型

语言模型：n元语法模型

• 1. 概念

• 2. 类型：

• • 2.1 unigram model
  • 2.2 bigram model

• 3. unigram、bigram频率统计；

• 参考链接：

1. 概念

n-gram是一种利用统计语言模型实现的技术。它的基本思想是通过滑动窗口技术将文本内容划分为一系列长度为N的字节片段序列。

对每一个字节数目而言都被定义为一个gram，并被用来计算该特定类型出现频率的同时依据预先设定的标准筛选出关键 gram 集合从而构建出该文本所对应的向量特征空间其中每个 gram 都代表一个独立的特征维度

2. 类型：

（1）单字单元模型（unigram model）：将整个文本分解成一个个单独的汉字进行处理。
（2）双字单元模型（bigram model）：将整个文本从前往后每隔两个汉字组成一个词语。
（3）三字单元模式（Trigram model）：将整个文本从前往后每隔三个汉字组成一个词语.

2.1 unigram model

当 n=1时，是 一元模型， 即为：

![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/Ey8nJwbOfjVc2CXHeruzYgham