NLP与概率模型结合

1. HMM-隐马尔科夫模型

具有马尔科夫属性的概率有向图

1.1 两个空间三组参数

状态空间即潜在状态变量S的所有可能取值构成的空间。
观测空间即观测变量O的所有可能取值构成的空间。
发射概率即初始分布π描述了系统从初始态出发的概率状况。
转移概率矩阵a完整表征了系统各态之间的转换关系。
输出分布b完整表征了系统在各个状态下可能的输出情况。
模型参数λ由转移矩阵a、输出分布b以及初始分布π三部分组成。

1.2 两个假设

均匀假设被称为马尔可夫假定。
而观测独立性假定认为观察结果仅受当期潜在状态的影响。
这三个主要问题是：
第一，
概率计算涉及给定模型参数λ时对某条特定观察序列O的概率推导；
第二，
预测任务旨在确定在给定模型参数λ和观察数据O下最可能隐含的状态轨迹；
第三，
学习过程通过利用观察数据O（以及潜在的状态信息S）来优化模型参数λ

2、三个问题的计算方法

2.1 概率计算-前、后向算法

两种方法从本质上讲都是动态规划，他们可以分别用来求解p(O|λ)