机器学习笔记（1）-LR

1、描述

逻辑斯蒂回归被视为分类算法中基础且关键的技术手段，在机器学习领域占据重要地位。深入理解其内在机理对于提升模型性能至关重要。尽管名称中带有'回归'一词，但事实上它是用于分类任务的核心方法之一，在解决二元分类问题时表现尤为突出（结果变量取值仅为0或1）。

2、初识

逻辑回归建立在对线性模型进行转换的基础之上，并且能够将其转化为仅输出0或1的结果的分类模型。其核心步骤类似于构建线性回归模型：首先确定预测函数的形式和参数；其次定义损失或成本函数用于评估预测效果；最后通过优化损失函数来确定最佳拟合参数。

若我们要将线性回归应用于分类问题，则需要认识到变量 y 的取值仅限于两个可能的结果：0 和 1。然而，在实际应用中如果我们选择使用线性回归模型（即假设函数的形式），其预测结果可能会远远超出预期范围（即远大于1或远小于0）。即使所有的训练样本都具有标签 y 值仅为0或1的情况下（即y的实际取值范围被严格限制），我们仍然会发现当模型输出偏离这一预期范围时（如果不加以限制的话），这会带来一定的困惑与不一致感。因此，在接下来的研究中我们引入了一种新的方法——逻辑回归方法（Logistic Regression）。这种新方法的独特之处在于：它能够确保输出结果始终位于合理的范围内（即从最小可能的概率到最大概率之间）。

在本研究中引用了Andrew Ng老师