自然语言处理(七)——n-gram模型预测句子概率
发布时间
阅读量:
阅读量
研究背景与问题提出
与采用形式语言处理自然语言的方式不同,语言模型在处理自然语言时并不侧重于句子的语法结构,而是关注该句子出现的可能性。即使某句话在语法上完全正确,但如果在语料库中从未出现过,我们依然可以判定其出现的概率为零。当前,计算句子概率通常借助n元语法模型,因此接下来将对n元语法模型进行介绍。
二、n元语法模型
【在阐述n元语法模型之前,有必要了解一种理想状态下的概率计算模型。假设存在一个由m个基本单元(“基元”可以是字、词或短语等,为便于后续表述,此处统一使用“词”来指代)组成的句子s=**

【其概率计算表达式可描述为
p(s) = p(

)p(

还没有任何评论哟~
