PRML (二元变量分布)

伯努利分布

考虑二元随机变量 x\in \{0,1\}（抛硬币，正面为 1，反面为 0），其概率分布由参数 \mu 决定：

其中参数 \mu 满足条件 0 \leq\mu \leq 1。而且当随机变量取值为零时的概率为 p(x=0) = 1 - \mu。这正是我们所说的伯努利分布（Bernoulli distribution），其概率质量函数则可表示为：

均值和方差为：

伯努利分布的最大似然估计

基于 x 的观测数据集 \mathcal D = \{x_1, \dots, x_N\} ，假设这些样本是独立且同分布的 ，则其似然函数则为

对数似然为

对数似然值仅受 \sum_{n=1}^N x_n 取值的影响；另一方面，\sum_{n=1}^N x_i 实际上是伯努利分布的一个充分统计量；它能够提供参数的完整信息。

对 最大化对数似然，我们很容易得到

即最大似然估计值为样本均值（sample mean），若样本中 x=1 的数目为 m 则：

假设我们连续抛掷硬币三次，并每次都得到正面朝上。此时，在这种特定情况下（即N=m=3），最大似然估计得出的结果是每次都出现正面（\mu_{ML} = 1）。然而，在这种情况下所得出的结果却与我们通常对这种情况的认知相悖：它不仅表现出极强的一致性（每次