机器学习的多项式分布及其共轭分布

多项变量(Multinomial Variables)

二元变量指的是仅能取两个特定值的变量类型。当面对一种离散变量，其可能的状态数目为K时，我们可以采用一个K维的向量x进行描述，在该向量中，仅有一个维度xk被赋值为1，其余所有维度均为0。与xk=1相对应的参数μk，则表示该状态出现的概率。这种分布形式可以视为伯努利分布的扩展形式。
接下来我们考虑一组包含N个独立观测数据的集合D={x1,…,xN}，并据此推导出其对应的似然函数。如图所示：

多项式分布(The Multinomial distribution)

当前我们探讨k个变量共同遵循的分布规律，该分布特征由参数μ以及N次观测数据所决定，从而形成了多项式分布的结构。

狄利克雷分布(The DIrichlet distribution)

为便于处理，当先验分布与似然函数具备相似结构时，所推导出的后验分布仅表现为指数幂参数的累加，其整体形式并未发生显著改变，从而使得先验分布与后验分布呈现