Advertisement

Why There's No Error Term in logistic regression models?

阅读量:

Why and Why not?

  • 在概率分布视角下分析时,则该表达式不再出现。
  • 而从损失维度考察,则未必具有。
  • 直觉上看,则该现象难以观察。
  • 需特别指出。

由于误差项在统计学中有多种阐述方式,在探讨逻辑斯特回归模型时可以从多个方面阐述其缺乏误差项的原因

1. 概率分布的角度, 表达式上不存在

复制代码
    E[y|x]=p(y=1|x)=wx+b+error ???

针对线性回归预测问题而言,在真实情况下有

在逻辑斯蒂二元分类的问题中,

概率p(y=1|x)等于符号表示sigmoid(w^Tx+b)的概率值;作为对比:对于真实情况:概率值通过加入一个微小误差项\epsilon得以表达;在预测过程中:通过应用sigmoid函数获得预测概率\hat{p}(y=1|x)=sigmoid(w^Tx+b)

注意到:
E(y|x)=1*p(y=1|x)+0*p(y=0|x)=p(y=1|x)

p(y=1|x)=sigmoid(w^Tx+b)+\epsilon\\ \downarrow\\ E(y|x)=sigmoid(w^Tx+b)+\red{\epsilon\;?}\\

复制代码
    小结:p(y=1|x)实际上是以概率的形式表达了(y|x)的期望,所以表达式子中,不存在err

全部评论 (0)

还没有任何评论哟~