探索与理解决策树的核心知识和思维方式

1、决策树的模型策略和算法

模型：决策树的构建过程本质上就是从训练数据集中提取一组分类规则，并使这些规则与训练数据之间的不一致程度较小的同时具备较强的泛化能力。此外，在另一角度来看待这一过程时，在另一角度来看待这一过程时，在另一角度来看待这一过程时，在另一角度来看待这一过程时，在另一角度来看待这一过程时，在另一角度来看待这一过程时，在另一角度来看待这一过程时，在另一角度来看待这一过程时，在另一角度看问题的过程中

决策树的学习策略导向通常基于经过正则化的最大似然估计模型构建；具体而言，在学习过程中，该算法旨在最小化所选择的目标函数。

算法：鉴于此最小化问题是NP完全的，在现实中我们常用启发式方法近似解决这一最优化难题而导致所得决策树并非全局最优。该启发式方案主要包括三个环节：特征提取、模型构建以及决策树精简。

2、决策树的损失函数理解

对于决策树的模型和算法，都还好理解，但策略中的损失函数，有点奇怪

右边第一项用于衡量模型对训练数据的预测误差大小；第二项则用于衡量模型复杂度，并通过叶节点实现防止过拟合。

![在这里插入图片描述](http