分类决策树模型

一、决策树

1. 什么是决策树

决策树作为一类广泛应用于机器学习领域的技术手段，其基本原理在于：对于具有相同或相近特征的输入数据，系统将生成一致或相近的输出结果。该模型采用树状结构完成分类或回归任务，其主要目标是依据样本的不同属性特征进行判断与划分，将具备相似属性的数据归类至同一叶子节点中。以下列举了几个日常生活中的决策树应用实例。

【示例1

2. 决策树的结构

通常情况下，决策树结构由一个起始的根节点、多个中间节点以及多个终端节点构成。其中，终端节点代表最终的判断结果，而其余各个节点则对应某一特征的判定条件。所有被归类至同一终端节点的数据样本，在决策属性上具有一致性，可以通过计算这些样本的平均值以完成回归任务，同时也可以通过统计多数类别的方式来实现分类目标。

3. 如何构建决策树

1）构建决策树算法

决策树的生成过程，实质上是持续选择具有较高区分度的特征作为判断节点，从而构建出具备较强泛化能力的树状结构，其基础算法描述如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6r4Ol4oi-1639661392698)(img/decision_tree5.png)]

可以明显看出，决策树的生成遵循递归原则，其关键在于解决以下两个核心问题：

• 特征的选择方式。在决策