读书笔记-Python数据分析与挖掘实战-3 数据探索

阅读量：

第3章数据探索

数据质量评估作为数据预处理的首要环节，构成了数据挖掘分析结果可靠性与精确性的根基。其核心职责在于对原始数据集进行审查，以识别其中可能存在的质量问题：

（1）缺失信息

（2）偏离常规的极端数值（outliers）

（3）相互矛盾的数据内容

（4）重复记录以及包含特殊字符的数据项

异常值指的是在样本数据中，数值显著偏离其他观测值的个别数据点，亦可称为离群点。

（1）基础统计量分析

首先对相关变量进行描述性统计处理，以验证数据的合理性。常用的统计指标包括最大值与最小值。

（2） $3\sigma$ 原则

当数据符合正态分布时，依据 $3\sigma$ 原则，异常值被定义为那些与均值之间的偏差超过三倍标准差的数据点。根据正态分布的特性可知，与均值距离超过 $3\sigma$ 的数据出现的概率满足 $P(|x - \mu| > 3 \sigma) \leq 0.003$ ，这一事件属于极为罕见的情况。

对于不符合正态分布的数据，则可以采用偏离均值若干倍标准差的方式来描述异常情况。

（3）箱线图分析

还没有任何评论哟~