机器学习中的GDA与多元高斯分布结合用于CS229

高斯判别分析

我们即将探讨的第一个生成式学习算法为高斯判别分析（GDA）。在该模型中，我们假定条件概率p(x|y)服从多元正态分布。在进一步介绍GDA模型之前，有必要简要说明多元正态分布的特性。

多变量正态分布（多元高斯分布）

定义在n维空间上的多变量正态分布亦称为多元高斯分布，其参数由均值向量μ∈Rn与协方差矩阵Σ∈Rn×n共同确定，其中Σ≥0表示该矩阵为对称且半正定的。该分布通常记作“N（μ，Σ）”，其概率密度函数可表示为如下形式：

在上述公式中，“|Σ|”代表矩阵Σ的行列式数值。当随机变量X服从N（μ，Σ）分布时，其均值（较为少见的表述方式）由参数μ确定：

随机向量Z的协方差矩阵可表示为Cov（Z）= E [（Z-E [Z]）（Z-E [Z]）T]，该表达式用于描述实值随机变量之间的差异性。此外，协方差还可通过Cov（Z）= E [ZZT] - （E [Z]）（E [Z]）T这一形式进