Python数据预处理涉及统计学方法如t检验和卡方检验,并涵盖均值和中位数等描述性统计
发布时间
阅读量:
阅读量
Python数据预处理流程包括运用统计学方法对数据进行验证。对于连续型变量,首先检验其是否符合正态分布特征;若呈现正态分布,则进一步采用t检验来判断方差齐性;而对于非正态分布的变量,则选择Mann-Whitney检验作为替代方法。在处理分类变量时,需实施卡方检验,该检验包含三种具体类型:Pearson卡方、校准卡方以及精准卡方等。
对于尚未掌握卡方检验原理的读者,可参考:卡方检验–MBA智库
关于卡方检验的具体应用规范
# 四格表卡方检验用于进行两个率或两个构成比的比较。
# 要求样本含量应大于40且每个格子中的理论频数不应小于5。
# 当样本含量大于40但理论频数有小于5的情况时卡方值需要校正,当样本含量小于40时只能用确切概率法计算概率。
# (1)所有的理论数T≥5并且总样本量n≥40,用Pearson卡方进行检验。
# (2)如果理论数T<5但T≥1,并且总样本量n≥40,用连续性校正的卡方进行检验。
# (3)如果有理论数T<1或n<40,则用Fisher’s检验。
全部评论 (0)
还没有任何评论哟~
