《统计学习方法笔记》Logistic回归

Logistic回归简介

假设有一组数据点，在统计学中我们通常通过建立一条直线模型来拟合这些数据点，并将其定义为最佳拟合直线；这个过程被统称为回归分析。基于Logistic方法建立分类模型的主要思想是：通过构建一个基于现有数据的分类模型来确定分类边界线的位置，并以此实现对新样本的分类预测。

算法流程

1.优化目标函数

所需的函数应该是能够接受所有输入并生成预测结果的模型。海维塞德阶跃函数（或称单位阶跃函数）能够在两类情况下输出0或1值。然而，在跳跃点处发生突变地从0跃升至1这一特性使得该函数难以处理瞬间变化的情况。因此，在实践中我们通常选择Sigmoid函数作为替代方案。Sigmoid函数的具体形式如下：