最大后验概率为MAP

最大后验概率

• 一、定义
• 二、举例
• • 1、离散
  • 2、连续
  • 3、复杂问题

一、定义

该方法通过基于经验数据的分析来推断难以直接观测的变量值。与最大似然估计相似的主要区别在于它考虑了待估参数的概率分布信息，并在此基础上求解最优化问题以获得点估计值。因此，在引入正则化项的情况下，最大后验估计可被视为一种修正的最大似然估计方法。

回顾上一篇中关于最大似然估计的内容, 假设x是一个独立同分布采样的样本, θ代表模型参数, f是我们采用的模型. 那么, 最大似然估计就可以表示为:

\hat{\theta}_{M L E}(x)=\underset{\theta}{\arg \max } f(x \mid \theta)

设θ的先验分布为g。依据贝叶斯定理推导可得：

\,\,\,对于每一个参数值\,\,\,θ\,\,\,而言\,\,\,,条件概率密度函数f在给定观测数据x下的定义可表示为：

f(\cdot|x)\colon \Theta \to \mathbb{R}_{+}, \quad \text{其中} \quad f(\cdot|x)(θ) = \frac{f(x|θ)g(θ)}{\int_{θ'∈Θ} f(x|θ')g(θ') d θ'}

其中\Theta代表参数