李航统计学Chap3:k近邻（总结、代码实现和课后题）

K近邻算法原理与应用

• 1. K近邻算法

  • 2. K近邻模型

    • • 2.1 距离度量方式
    • 2.2 k值的确定方法
    • 2.3 分类判定准则
    • 2.4 程序实现方式

  • 3. K近邻法的实现：kd树结构

    • • 3.1 kd树的构建过程
      • • 3.1.1 算法执行步骤
      • 3.1.2 典型实例说明
      • 3.1.3 程序代码实现

    • 3.2 kd树的查找操作

      • • 3.2.1 算法实现方式
      • 3.2.2 时间复杂度分析
      • 3.2.3 实例演示说明
      • 3.2.4 相关代码实现

  • 4. 阶段性练习题目

1. K近邻算法

• k近邻法(k-nearest neighbor, KNN)属于一种基础的分类与回归技术，在本文中仅针对分类问题中的K近邻进行探讨。
  • k近邻法基于一个已知类别标签的数据集进行操作，当对新样本进行分类时，依据其与K个最接近的训练样本的类别信息，采用多数投票等策略完成预测任务。
  • 值得注意的是，当k取值为1时，该方法被特称为最近邻算法。

K近邻模型应用与分析

k近邻算法主要包含三个核心组成部分：**K值的确定、距离计算方