决策树算法ID3、C4.5、CART

在机器学习领域中，决策树被视为一种极具代表性的学习算法。基于其结构特征，在分类任务中构建基于特征属性的具体判断路径。具体来说，在这一过程中需要从训练数据集中筛选出各叶子节点对应的样本实例，并进而推断出相应的类别或数值结果。具体生成机制直接影响着模型能够处理的数据维度以及预测效果的质量。主要应用广泛的决策树算法包括ID3、C4.5、CART等方法论框架

1，ID3

ID3是由Ross Quinlan于1986年提出的一种构建决策树的技术。用于处理标称型数据集，其构建过程如下：

源数据是一组经过标注类别的样本，并被构建构建成一棵多叉树结构。在决策树中，通常以条件判断的形式表现为分支节点的具体内容，在这种情况下具体表现为形式上表现为a=a_j类型的条件判断。

在该节点上确定能对该节点处的训练数据进行最佳划分的因素。最后采用的信息增益作为标准（即基于划分前后数据集熵的变化来衡量）。

当在当前节点的父节点或祖先中采用了某个性质时，则禁止再次利用此性质。一旦选定最佳指标后（假设其具有N种可能取值），则会创建相应数量的子路径来分配其相关训练样本）。这些子路径将根据所选指标的不同取值进行划分，并按照递归方法继续分割数据集直至满足终止条件为止

（1）该节点的所有样本属于同一类，该节点成为叶节点，存放相应的类别。

（2）所有属性均已被父节点或其祖先所使用。在此时，该节点因此成为