分类模型-决策树与随机森林

分类算法-决策树、随机森林

决策树

1. 认识决策树

决策树模型具有树状的架构形式。在处理分类任务时，其体现的是依据特征对样本实施划分的机制，可将其视为一组if-then规则的组合。于决策树的整体构造中，每个样本均会被某条路径或特定规则所涵盖。

决策树学习过程一般由三个主要环节构成，依次为特征选择、生成决策树结构以及对生成的决策树进行修整处理。

2. 信息论基础

信息熵 ：用于衡量信息的不确定程度，其计量单位为比特。

在所有事件出现的概率保持一致的情况下，信息熵将达到最高值，此时所体现的不确定性也最为显著。

公式如下：

信息增益：

信息增益作为决策树划分标准之一，具有重要作用。

具体而言，特征A对于训练数据集D的信息增益g(D,A)，被定义为数据集D的信息熵H(D)与在特征A给定条