机器学习西瓜书 笔记（线性模型）

文章目录

• • • • • 逻辑回归 / 对数几率回归（logistic / logit regression）- 线性概率模型
    • 线性判别分析（linear discriminant analysis，LDA）/ Fisher 判别分析
    • *二次判别分析（quadratic discriminant analysis，QDA）(补充，非线性)
    • 多分类学习
    • 类别不平衡问题（class-imbalance）

逻辑回归 / 对数几率回归（logistic / logit regression）- 线性概率模型

单变量 simple logistic regression 或 多变量 multiple logistic regression
逻辑回归本质上是一种基于线性模型的分类算法，尽管其名称中包含“回归”二字，但其核心目标并非预测连续数值，而是解决二分类问题，并能够输出样本属于正类的概率估计。这种概率输出特性使其在需要评估风险或置信度的场景中极具价值。为了将线性的输入映射到 (0, 1) 区间内的概率值，逻辑回归引入了Sigmoid函数作为激活函数。该函数具有平滑的S形曲线特征，能够将任意实数输入压缩至概率空间，从而解决了线性模型输出无界的问题。
![