Decision trees utilize information gain and information gain ratio as criteria for feature selection.

其中『年龄』属性包含三个数值：0代表青年阶段（Under 35 years old）、1代表中年阶段（35-65岁）、2代表老年阶段（Over 65 years old）。这两个二元属性分别标记「是否有工作」和「是否有自有住宅」。信贷评估结果分为三类：一般状况为得分0分（Poor）、良好状况为得分1分（Good）、优秀状况为得分2分（Excellent）。贷款申请状态以二元变量表示：0代表拒绝申请（Rejected Application）、1代表同意申请（Approved Application）。

这种模型等同于我们写的条件语句，所以它的预测分类速度是很快的。

• 所有数据均源自根节点
• 采用自顶向下地分治策略进行操作
• 样本依据属性集不断进行分割
• 基于特定规则或算法来选择特征
• 当某节点的数据全部属于同一类别时，则停止进一步划分
• 训练得到的决策树应尽量避免与样例集合产生矛盾，并具备良好的预测能力。
• 决策树生成过程仅考虑局部最优效果，在必要时才实施全局性剪枝优化。

ID3与C4.5算法；其中ID3决策树算法在决策树生成过程中基于信息增益选择最佳分裂特征。具