逻辑回归模型的定义与参数估计方法

logit回归分析（logistic regression）可被视为统计学习中的核心工具之一，在机器学习领域占据重要地位，并具体来说属于判别模型类别。

#1. 逻辑斯谛回归模型定义

在 Andrew Ng 的《机器学习》教材和李航的《统计学习方法》一书中都有关于逻辑斯谛回归模型的介绍然而二者的定义存在显著差异

##1.1 决策函数
Andrew NG 课程中，对二项逻辑回归模型的决策函数如下：

h_\theta(x)=g(\theta^Tx)

该Sigmoid函数以变量z作为自变量：
该函数的表达式可表示为y等于g(z)，其中g(z)等于分数形式的倒数。
其中\theta代表参数。当自变量z大于等于零时，则输出值y介于零点五到一之间；反之，在z小于零的情况下，则y介于零到零点五之间。

h_\theta(x) 的取值代表 y=1 的可能性的大小，若 h 大于0.5，那么就取1，如果小于0.5就取0.

在统计学习方法中，在函数定义的基础上建立起来的二项逻辑回归模型是一种条件概率分布。
该特定的概率分布形式能够清晰地描述变量间的影响关系。

这是一个条件概率模型，并且其值等于说样本中的成功案例数量加一后除以总样本数量。

这里属于输入空间中的一个实例x在输出空间中对应的结果Y取0或1权值向量\textbf{w}是