GMM和EM算法

GMM及EM算法

标签（空格分隔）： 机器学习

---

前言：

• Expectation Maximization (EM) algorithm – 用于估计包含隐变量的概率模型参数的最大似然值的一种统计方法；
• Gaussian mixture model（GMM）– 一种由多个高斯分布组成的混合体，在机器学习领域有重要应用；
• 本文将从经典的k-means问题出发推导出一种迭代优化的方法；随后通过基于GMM求解过程来概括地理解这一概念；最后将详细阐述标准的形式并探讨其收敛特性。

K-Means Clustering

目标函数(损失函数)

EM过程

1. 随机设定数据集的中心位置为均值\mu_{k}。
2. 在E步中，在保持不变的均值下，并通过最小化目标函数J来确定参数。
3. 在M步中，在保持不变的情况下，并通过最小化目标函数J来更新参数。
4. 不断迭代上述两步操作直至算法达到稳定状态。

Gaussian Mixture Model

将高斯混合模型视为由单个高斯分量组成的加权组合的主要目的，则是为了