机器学习技术基于TensorFlow开发KNN模型

Tensorflow实现K近邻分类器

1. K近邻分类模型基本原理

如果一个样本在特征空间中的k个最近(即基于特征空间中距离最近)的样本中绝大多数属于某一特定类别，则认为该样本同样属于该特定类别；这里k通常取值一般不超过20。在KNN算法中，默认选择的所有邻居均为已正确分类的对象；这种分类方法仅根据被分类对象中最邻近的一个或几个实例来推断待分类对象所属的具体类别。

2. K近邻分类模型的三个基本要素

（a） 距离度量 (b) K值的选择 （c）分类决策规则

2.1 距离度量

设假定特征空间X是一个M维实向量空间：即X⊆ℝ^{M；对于任意两个样本点(i,j)，我们用xi=(xi,1,...,xi,M)}T表示第i个样本点的特征向量；同样地也用xj=(xj,1,...,xj,M)^T表示第j个样本点的特征向量；那么xi与xj之间的Lp范数距离被定义为：
Lp(xi,xj)= (∑m=1到M |xi,m - xj,m|^p)(1/p)
当取值P=2时则被称为欧氏距离：
L2(xi,xj)= (∑m=1到M |xi,m - xj,m|²⁾(1/2)
而当取值P=1时则被称为曼哈顿距离：
L1(xi,xj)= ∑m=1到M |xi,m - xj,m|
此外当P趋向于无穷大时则被称为切比雪夫距离：
L∞(xi,xj)= max{|x