自然语言处理模型研究

前面几个章节已经系统地介绍了 recurrent 网络（RNN）以及 long short-term memory 网络（LSTM）等技术，在最初讨论 recurrent 网络（RNN）的时候我们就说过。 recurrent 网络（RNN）在自然语言处理 (NLP) 领域有着最为广泛的运用。本周我们将开始简要介绍语言模型的基本概念与工作原理

语言模型

语言模型旨在为给定的一组句子或词序列分配概率值的任务；或者用于计算在特定上下文中出现特定词汇或短语的可能性。实际上这两个任务是等价的，并具有可转换性。在机器翻译和语音识别中发挥着重要作用；其核心在于通过条件概率链式法则建立词语之间的关联关系，并表示为：P(w_1, w_2, \dots, w_n) = \prod_{i=1}^{n} P(w_i | w_1, w_2, \dots, w_{i-1})

根据上述公式可以看出，在自然语言处理领域中有一种核心的技术手段被用于评估给定句子是否具有合理的语法结构或意义完整性，在这一过程中有两个最为经典的模型方法：一个是基于统计学原理构建的N-gram语言模型；另一个是基于深