逻辑回归分析

逻辑回归

逻辑回归的梯度下降法推导

逻辑回归目标函数为凸函数

训练数据D = \{ (\mathbf{x}_{1}, y_{1}), \cdots, (\mathbf{x}_{n}, y_{n}) \}是一个集合由有序对组成这些有序对代表每条记录其中每个有序对(\mathbf{x}_{i}, y_{i})代表一条记录\mathbf{x}_{i}属于实数域\R^{D}具有D维维度其值为实数值向量这些向量对应于属性维度而类别标签则取值为0或1分别表示不同的分类结果

该模型的变量为(\mathbf{w}, b)。为了简化运算，在此将b合并进\mathbf{w}后，则有新的\mathbf{w}和新的\mathbf{x}_{i}。

\mathbf{w} = [w_{0}, w_{1}, \cdots, w_{D}], \ \mathbf{x}_{i} = [1, x_{1}, \cdots, x_{D}]

1 逻辑回归的目标函数

目标函数（objective function），也被认为是损失函数（loss function），记为\mathcal{L} (\mathbf{w})

二分类问题模型

$p(y | \mathbf{x}; \mathbf{w} ) = p(y = 1