贝叶斯决策理论（用于分类和回归的理论）

贝叶斯决策理论

基于贝叶斯决策理论，在分类问题中假设有c个可能的类别；每类别的状态由变量w_{i}表示（其中i=1,2,\dots,c)），并具有先验概率分布为P(w_i)；考虑d维特征空间中的一个样本向量\mathbf{x}=[x_1,x_2,\dots,x_d]^{\top}；已知条件下概率密度函数p(\mathbf{x}|w_i)的情况下，则根据贝叶斯定理可得各类别的后验概率计算公式如下：

P(w_{i} | \mathbf{x}) = \frac{p(\mathbf{x} | w_{i}) P(w_{i})}{\sum_{j = 1}^{c} p(\mathbf{x} | w_{j}) P(w_{j})}

基于最小错误率的贝叶斯斯决策准则为：

如果P(w_{i} | \mathbf{x}) = \max_{j = 1, 2, \dots, c} P(w_{i} | \mathbf{x})，则\mathbf{x} \in w_{i}，或者

如果p(\mathbf{x} | w_{i}) P(w_{i}) = \max_{j = 1, 2, \dots, c} p(\mathbf{x} | w_{i}) P(w_{i})，则\mathbf{x} \in w_{i}

假设变量c取值为