分类 和 逻辑回归

一、逻辑回归

1. 概述

1）什么是逻辑回归

逻辑回归（Logistic Regression） 尽管被称为回归分析，在统计学上其实属于一种分类技术，并被广泛应用于解决两类分问题。该方法因其简洁且易于实现的特点受到青睐，并且能够有效地利用并行计算资源以提高效率。此外还具有良好的可解释性因此成为机器学习领域中的一种核心算法。在机器学习领域中除了线性回归之外二分类也被视为一种基础且重要的任务类型即通过建立适当的判别标准将样本划分为两类不同的类别例如通过学生的考试成绩判断其是否达到及格标准如表1所示：

这就是逻辑分类，将连续值映射到两个类别中。

2）逻辑函数

广义线性回归模型通过非线性变换将线性模型映射到概率空间，在实际应用中被广泛用于分类问题中。其基本原理是通过线性组合输入变量并应用非线性激活函数来映射连续值至概率范围。这种分类器的工作机制包括以下步骤：首先对输入特征进行加权求和并加上偏置项得到中间预测值；然后通过sigmoid函数将连续预测值转换为介于0和1之间的概率值。

y = h(w^T x + b)

其中h表示sigmoid函数：

h(t) = \frac{1}{1