机器学习-KNN算法（一）：概述其原理及应用

KNN的介绍

经常听到一个故事：在评估一个人的经济状况时,只需考察他最密切的5位邻居（邻居的数量由参数K决定）,然后取这五位邻居的经济能力的平均值即可推断出该人的经济水平。

示例：如上所示，在图中存在一个绿色圆形符号需要归类。它属于红色三角形类别还是蓝色四方形类别？如果k值设为3时，在这种情况下（即当k值设为3时），由于红色三角行区域占总样本的比例是2/3，则该圆形将被分类到属于红色三角行区域对应的类别。（而当k值设为5时，则根据蓝色方形区域在样本中的占比（即当k值设为5时），则该圆形会被归到蓝色方形区域对应的类别。）

KNN建立过程

1 对于每个测试样本x∈X_test，在训练集中测量其与所有训练样本x_i∈X_train之间的距离。
2 选出距离最近的K个训练样本，并将这些选中的K个训练样本作为测试样本x∈X_test的近邻。
3 根据这K个近邻所属类别的多数类别来决定待分类样例y∈X_test所属的类别。

类别的判定

①投票决定，少数服从多数。取类别最多的为测试样本类别。

加权投票机制中，在基于计算所得的距离远近程度基础上对邻近