概率密度函数估计

在之前的博客中已经提及，在贝叶斯决策理论的核心在于对概率密度函数进行估计。该过程通常基于有限的学习样本对先验类别概率P(w_i)以及相应的类条件概率密度p(x|w_i)进行建模。其中的概率密度函数估计主要包含两种类型：参数型的概率密度估算与非参数型的概率密度估算。

极大似然估计

极大似然估计被归类为一种典型的参数估计方法。
对于最大似然估计（MLE）而言，在其应用过程中我们通常基于以下基本假设：
假定所研究总体的所有样本都是随机抽取的个体；
各观察值之间相互独立；
总体分布形式已知。

1. 待求解的参数θ是已知类型但具未知数值的量；
2. 各类中的样本遵循独立且同分布的概率模型；
3. 类条件概率密度p(x|w_i)具特定形式的概率模型，在该模型中仅存在需待估计的具体参数；
4. 不同时类别之间存在独立关系。

设样本集包含N个样本，即S=\{x_1,x_2,...,x_N\}，由于样本是独立地从p(x|\theta)中抽取的，所以在概率密度为p(x|\theta)时获得样本集S的概率即出现S中的各个样本的联合概率是：
l(\theta)=p(S|\theta)=p(x_1,x_2,...,x_N|\theta)=\prod_{i=1}^np(x_i|\theta)
这个概率反映了在概率密度函数的参数是$\theta