Advertisement

Python数据预处理涉及统计学方法如t检验和卡方检验,并涵盖均值和中位数等描述性统计

阅读量:

Python数据预处理流程包括运用统计学方法对数据进行验证。对于连续型变量,首先检验其是否符合正态分布特征;若呈现正态分布,则进一步采用t检验来判断方差齐性;而对于非正态分布的变量,则选择Mann-Whitney检验作为替代方法。在处理分类变量时,需实施卡方检验,该检验包含三种具体类型:Pearson卡方、校准卡方以及精准卡方等。

对于尚未掌握卡方检验原理的读者,可参考:卡方检验–MBA智库
关于卡方检验的具体应用规范

复制代码
    # 四格表卡方检验用于进行两个率或两个构成比的比较。
    # 要求样本含量应大于40且每个格子中的理论频数不应小于5。
    # 当样本含量大于40但理论频数有小于5的情况时卡方值需要校正,当样本含量小于40时只能用确切概率法计算概率。
    # (1)所有的理论数T≥5并且总样本量n≥40,用Pearson卡方进行检验。
    # (2)如果理论数T<5但T≥1,并且总样本量n≥40,用连续性校正的卡方进行检验。
    # (3)如果有理论数T<1或n<40,则用Fisher’s检验。
    
    
      
      
      
      
      
      

全部评论 (0)

还没有任何评论哟~