机器学习决策树知识点归纳

一、决策树阐述、特性、优缺点：

1.阐述、特性：

决策树是一种基础的分类与回归方法，其主要构成包括三个部分：特征选择、生成决策树以及剪枝操作。

首先，决策树的结构由节点和边组成，其中节点分为内部节点与外部节点。内部节点代表所选取的特征，而外部节点则表示最终的分类结果。

其次，决策树的学习过程本质上是从训练样本中归纳出一组分类规则，这些规则在与训练数据保持一致性的同时具备较强的泛化能力。从数学角度来看，这一过程可以理解为基于训练集估计条件概率，并且属于判别式模型范畴。

损失函数采用的是正则化的极大似然函数形式。学习的目标是使该损失函数达到最小值。（由于此问题属于NP难问题，通常借助启发式算法进行求解。例如SMO算法即为一种启发式方法，其包含特征选择、生成以及剪枝三个阶段）

最后，决策树的基本思想是通过递归地选择最具区分性的特征，并依据该特征对数据集进行划分。这个过程对应于构建完整的决策树结构及对特征空间的有效分割。

由于存在过拟合的风险，因此需要实施剪枝操作以去除过于细分的分支。

2、优缺点

优点：构造过程较为简单；判断速度较快；无需对原始数据做任何预处理；对于不平衡的数据集仍能保持较好的性能表现。

缺点：泛化能力相对较弱；容易出现过拟合现象；当有新样本加入时，则需重新调整整棵树的结构。

二、特征选择：

在进行特征选择时所遵循的原则为信息增益或