机器学习基础算法19号：决策树在鸢尾花数据集上的分类及其深度与过拟合分析

这里写目录标题

• 分类树模型
  • 程序实现
  • 执行结果
  • 多棵分类树结构

决策树

决策树（Decision Tree）作为一类基础的分类与回归技术，其在处理分类任务时被称为分类树，而在回归任务中则被定义为回归树。本文主要探讨分类树的相关内容。

该结构由多个节点以及连接这些节点的有向边构成。其中节点分为两类：内部节点与叶节点。内部节点用于表示某一特定特征或属性，而叶节点则对应于最终的类别标签。

决策树的学习过程通常遵循递归策略，即持续选取最具区分能力的特征，并依据该特征将训练数据划分为若干子集，从而实现对每个子集最有效的分类效果。基于信息增益准则进行特征选择的方法是：针对当前训练数据集（或其子集），分别计算所有特征的信息增益值，并通过比较这些数值的大小，最终确定具有最高信息增益的特征作为划分依据。

代码

    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    import matplotlib as mpl
    from sklearn import tree
    from sklearn.tree import DecisionTreeClassifier
    from sklearn.