机器学习：高斯判别分析

高斯判别分析

其完整名称为高斯判别分析（Gaussian Discriminant Analysis, GDA）。需要特别指出的是，尽管名称可能带来一定误解，但该模型本质上属于概率生成模型类别。

原理

在对联合概率分布进行建模时，我们设定y \sim Bernoulli(\Phi)，并且在给定y=1的条件下，x服从均值为\mu_1、协方差矩阵为\Sigma的正态分布；而在y=0的条件下，x则服从均值为\mu_0、协方差矩阵同样为\Sigma的正态分布。

输入

训练样本集合表示为D = {(x_1,y_1) ... (x_M,y_M)}，其中每个输入特征x_i属于特征空间\mathcal{X}，且\mathcal{X} \subseteq R^n，对应的输出标签y_i属于标签空间\mathcal{Y}，即\mathcal{Y} \subseteq R^K。在二分类任务中，标签取值范围限定为\{-1, +1\}。对于第i类样本，其集合、均值向量以及协方差矩阵分别用X_i, \mu_i, \Sigma_i表示。

小标题

各类别对应的概率分布情况。当涉及二分类问题时，其概率值通常对应于{+1, -1}两个类别。

损失函数

【令$\theta = (\mu_0