商务与经济统计学习笔记(3)

1.异常值的检测

【在实际的数据集合中，有时会出现一个或多个数值显著偏离常规范围的情况，这类极端数值通常被定义为异常值。
标准化数值(z-分数) 可作为识别异常值的一种有效工具。
所谓(z-分数)，即通过数据集的均值与标准差来衡量某一特定观测值在其整体分布中的相对位置。每一个观测值对应的z-分数都可以看作是对该数值在数据集中相对位置的量化表达。
其计算方式如下：

z_{i} =(x_{i}-\bar x)/s.
其中z_{i}表示该观测值的z-分数，\bar x代表样本的平均数；s为样本的标准差。
经验法则指出：对于呈钟形分布的数据集，几乎所有数据点与平均数之间的距离都不会超过三个标准差的范围。因此，在利用z-分数进行异常检测时，通常将那些z-分数低于-3或高于+3的数值判定为异常值。

另一种方法：
识别异常值还有一种常用方法是借助第一四分位数（Q_{1}）、第三四分位数（Q_{3}）以及四分位数间距（IQR）进行判断。采用这种方式时，首先需要计算出以下两个阈值：
下限=Q_{1}-1.5\times IQR\\ 上限=Q_{3}+1.5\times IQR\\ IQR = Q_{3}-Q_{1}.
若某一观测值小于下限或大于上限，则会被视为异常值。

四分位数（Quartil