机器学习——搭建KNN分类器（代码+图表）

KNN分类器实战应用

• KNN分类算法的基本机制
  • 分类模型的构建过程
  • 借助鸢尾花数据集进行验证

KNN分类器原理解析

设 D 为一个由 n 个点 x_{i}\in R^{d} 组成的数据集，其中 D_{i} 表示属于类别标签为 c_i 的点的集合，且该子集的大小记作 n_{i}=|D_i|。

当给定一个测试样本 x_{j}\in R^{d} 及其需要考虑的邻近点数量为 K 时，定义 r 为从测试点 x_j 到其第 K 近邻的距离。

依据此距离，可以构建一个以测试点 x_j 为中心、半径为 r 的 d 维超球体，表示如下：
B_{d}\left( x_{j},r\right) =\left\{ x_{i}\in D\mid \delta \left( x_{j},x_{m}\right) \leqslant r\right\}。其中 \delta \left( x_{j},x_{m}\right) 表示测试点与数据集中某一点之间的距离。此处采用的是欧几里得距离形式，即 \delta \left( x_{j},x_{m}\right)=\parallel x_{j}-x_{m}\parallel_{2}。

令 K_i 表示在测试点的最近邻中被标记为类别