决策树 ID3

一、决策树

在1986年机器学习领域的J.Ross Quinlan创造了决策树算法，并命名为ID3

1.1 决策树概念

基于实例进行分类或回归的决策树模型是一种树状架构。其包含节点与有向边构成。其中节点分为两种类型：分支节点与叶子节点。分支节点代表某个特征属性而叶子节点对应特定的目标类别或预测值。

它包含着分类型与回归型两种不同类型的决策树模型。其中，在分类型模型中每棵Decision Tree的叶节点分别标记着各个类别，在回归型模型中则关联着连续的数值值。其基本思想即基于递归地将自变量所在的空间划分为多个互不重叠的区域以实现目标预测或分类任务。

1.2 决策树学习目的

决策树学习的目标是基于提供的训练数据集，在其中归纳出一组分类规则，并使这些规则能够实现对新样本的有效分类；其本质是从训练数据集中总结出一组具有较高泛化能力的分类规