CS231n 课程作业 Assignment One (二) KNN分类器 (0807)

k-Nearest Neighbor classifier

KNN分类器的运作过程可分为两个主要阶段：

    	在训练期间，分类器获取训练数据并简单地记住它
    	在测试过程中，kNN通过与所有训练图像进行比较并转移k个最相似的训练示例的标签来对每个测试图像进行分类
    	注意：K的值是交叉验证的
    
    
      
      
      
    

本项工作的核心目标在于完成训练与测试两个关键环节，同时掌握图像分类流程的基础知识，熟悉交叉验证方法，并进一步提升编写高效矢量化代码的技能水平。

一、KNN算法原理解析

1）针对测试集中的每幅图像，计算其每个像素点与训练集中所有图像对应像素点之间的距离，本研究选用欧氏距离作为度量方式；
2）对计算所得的距离值进行排序，提取与测试图像距离最近的前k个训练图像所对应的类别信息；
3）对上述k个类别信息进行统计投票，最终确定出现频率最高的类别作为预测结果。当k取值为1时，最近邻的类别即为预测结果closest_y=y_pred。
KNN算法本质上是一种基于投票机制的分类策略，其核心思想是依据少数服从多数的原则，通过参考最近邻样本的标签完成分类任务，该方法属于局部近似的一种实现方式。

优点：

简单（原因在于几乎不存在训练，测试时直接计算）；