Expectation Maximization (EM) Algorithm

EM算法

概率模型中通常同时包含可观测变量（observable variable）与隐变量或潜在变量（latent variable）。当模型中的所有变量均为可观测变量时，依据给定的数据，可以直接通过极大似然估计法或贝叶斯估计法对模型参数进行估算。

EM算法[Dempster, 1977]是一种迭代计算方法，专门用于存在隐变量（hidden variable）的概率模型中，以实现对模型参数的极大似然估计或极大后验概率估计。该算法的每次循环包含两个阶段：首先在E步中计算期望值（expectation），随后在M步中进行最大化操作（maximization）。因此，这种算法被称作期望最大化算法（expectation maximization algorithm，EM）。

EM算法原理与应用

    import numpy as np
    
    def e_step(y, pi, p, q):
    
    mu_1 = pi * p ** y * (1 - p) ** (1 - y)
    mu_2 = (1 - pi)