无监督学习：无监督的异常检测和剔除（局部异常因子法和SVM异常检测器）

1.前言

之前所阐述的内容主要围绕有监督学习中的回归与分类算法展开。有监督学习的定义在于，其训练样本集合{（xi,yi）}中同时包含输入与输出信息。然而，在缺乏输出信息的情况下，仅依赖于输入样本{xi}进行建模的学习方式，即无监督学习方法，同样具有研究价值。本文将着重探讨如何从输入样本{xi}中剔除异常值的相关策略。

所谓异常值检测，即识别给定输入样本{xi}中存在哪些异常数据点的过程。尽管在有监督回归与分类任务中，我们已经研究过具备较强抗干扰能力的学习方法，但当数据集中包含大量异常值时，通常先对异常点进行过滤后再开展学习过程的效果更为显著。

若数据集已明确标注正常值与异常值的类别信息，则异常检测可被视作一种有监督分类问题。然而由于异常值的类型多样且复杂，通常情况下，从这些带有噪声的数据中训练出能够有效区分正常与异常的分类模型是一项极具挑战性的任务。

接下来将介绍两种无监督的异常检测技术：局部异常因子法和支持向量机异常检测器。除此之外，还将探讨一种通过在原始训练集{xi}基础上引入额外正常样本集{x'i}以实现更高精度检测的“弱监督型”异常检测方法。

2.局部异常因子

局部异常因子是一种用于识别与多数数据存在显著偏离的异常数据点的技术手段。
首先，从x到x'的可达距离定义如下：

![