自然语言处理（十一）——生成与判别模型

前言

生成式模型与判别式模型之间的区别主要体现在它们的学习方式上。为了更好地理解这一概念，请通过一个天气判断的实例来进行阐述。首先需要明确分类器的基本概念。从数学角度来看，分类器的工作原理可以表示为：给定输入特征x以及对应的类别标签y，请计算条件概率p(y|x)。举例而言，在天气预测中可能涉及的因素包括云量、气温和湿度等多维度指标。其中x代表这些具体的观测值集合，在这种情况下y将是天气状态（如下雨与否）。因此，在实际应用中我们需要根据这些输入变量对目标类别进行概率估计或分类决策。

一、两种模型的思想

如何计算下雨的概率？生成式模型与判别式模型在基本思路上存在差异性。生成式模型首先估计联合概率密度p(x,y)并随后应用贝叶斯定理推导出条件概率p(y|x)；相比之下，则直接估计条件概率分布p(y|x)作为其核心步骤。其中典型的生成式模型包括朴素贝叶斯算法（Naive Bayes），而典型的判别式模型则以逻辑回归（Logistic Regression）为代表

接下来就用天气判断来运行一下朴素贝叶斯的思想流程。

P（y = “rain” | x） =

![\frac{py="rain",x}{px}](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/