期望值最大化算法

一，最大似然估计与隐变量

该算法旨在估计包含隐变量的概率模型中各参数的最佳值。在参数估计过程中通常采用最大似然函数作为评估标准。因为模型中存在无法观测到的隐变量，在这种情况下直接求解这个最大似然函数变得困难起来。为此，该算法将这一问题转化为寻找下界函数的最大值的过程，并通过交替进行两个阶段的操作来实现这一目标：首先计算隐变量的概率分布（期望步），然后最大化完整数据对的对数似然（最大步）。

给定一批训练样本集Xi（其中i取值为1至I），这些样本遵循参数θ所描述的概率分布。为了估计参数θ的真实值，请考虑以下所述的对数似然函数的最大化问题：

（1）

假设Xi的概率分布仅由参数θ决定，则p(x|θ)可以表示为关于θ的函数。通过该最优化问题可以直接找到最优解。

当前的情况表明，在分析中所关注的概率密度函数不仅受参数θ的影响还与另一个变量h相关联。每个样本数据点Xi都对应着一个特定的h值该变量h遵循一个未知的概率结构在实际应用中考虑x与h之间的联合概率模型时则将其参数设定为θ条件概率p(x|θ)则代表了这一联合模型关于x的部分

![](https://ad.itadn.com/c