机器学习-周志华-个人实践（第13.2版）

13.2 试基于朴素贝叶斯模型推导生成式半监督学习算法

回顾可知，朴素贝叶斯方法的基本前提条件为：在特征向量\mathbf x_{i}=(x_{i1},\ldots,x_{in})中，各个属性x_{ij}之间相互独立。依据贝叶斯定理，我们所追求的目标是确定一个类别c_k \in \mathcal C，使得以下表达式达到最大值：

此时所确定的c_k即为对应样本\mathbf x_i的分类结果：

若假设各类别分别对应于混合模型中的独立成分，而该混合模型的参数为\Theta，则上述公式可表示为：

令
其中 A_{jk} 表示第 k 类样本在第 j 个属性上所有可能取值的集合，则有：

此时，将标记数据集 D_l 中属于第 k 类的样本集合记作 l_k，未标记数据集 D_u 中经过伪标记处理后属于第 k 类的样本集合记作 u_k^*；同时将 D_l 中第 j 个属性取值为某特定值的样本集合记作 l_{k,x_{ij}}，将 D_u^* 中第 j 个属性取值为该特定值的样本集合记作 u_{k,x_{ij}}^*。基于这些定义，我们可以对 \Theta_k,\Theta_{x_{ij}\mid j,k} 进行参数估计：

依据上述参数估计方法，可以构建出如下算