机器学习算法---KNN

目录

一、KNN算法原理

1、KNN三要素

2、一个简单案例

3、算法原理简单实现

【KNN分类---等权】

【KNN分类-加权】

【KNN回归---等权】

【KNN回归---加权】

4、注意要点

二、KNN算法实现

1、参数说明

2、鸢尾花数据案例

3、算法特点

---

一、KNN算法原理

k-近邻（k-nearest neighbors, k-nn），该算法通过计算待预测样本与标签样本之间的距离来确定其属性值。每个样本都由其最接近的k个邻居来表征。

该系统作为监督学习体系，在承担分类与回归任务方面都适用。
KNN算法用于分类预测时，则基于投票决策；而用于回归预测时，则基于平均值计算。

1、KNN三要素

1）、【计算距离】计算待预测样本与训练集样本的距离

2）、【确定K值】从训练集中获取K个离待预测样本距离最近的样本数据

3）、【决策规则】K个中哪类样本多，这个待预测样本就判断为哪类

多数投票原则已被广泛应用于计算机领域，在特别针对缺乏中心架构的体系时更为突出。区块链技术中的共识计算本质上采用了多数投票原则。