概率论与数理统计第六版教程-参数估计第3讲：最大似然估计与EM算法

§ 6.3 最大似然估计与 EM 算法
最大似然估计 (MLE) 最早是由德国数学家高斯 (Gauss) 在 1821
年针对正态分布提出的, 但一般将之归功于费希尔, 因为费希尔在 1922
年再次提出了这种想法并证明了它的一些性质而使得最大似然法得到了广泛的应用.
本节将给出最大似然估计的定义与计算及求取某些复杂情况下 MLE
的一种有效算法------M 算法, 并介绍最大似然估计的渐近正态性.
6.3.1 最大似然估计
为了叙述最大似然原理的直观想法, 先看两个例子.
例 6.3.1 设有外形完全相同的两个箱子, 甲箱中有 99 个白球和 1
个黑球,乙箱中有 99 个黑球和 1 个白球, 今随机地抽取一箱,
并从中随机抽取一球, 结果取得白球, 问这球是从哪一个箱子中取出?
解 不管是哪一个箱子, 从箱子中任取一球都有两个可能的结果: A 表示
“取出白球”, B 表示"取出黑球". 如果我们取出的是甲箱, 则 A
发生的概率为 0.99 , 而如果取出的是乙箱, 则 A 发生的概率为 0.01 .
现在一次试验中结果 A 发生了, 人们的第一印象就是: “此白球 (A)
最像从甲箱取出的”, 或者说, 应该认为试验条件对结果 A
出现有利,从而可以推断这球是从甲箱中取出的. 这个