机器学习中的分类回归树（CART）

前言

撰写本章节的初衷是旨在阐述GBDT-LR这一推荐模型的相关内容。然而，在深入探讨过程中，发现其中涉及大量与机器学习相关的基础树形算法。经过反复斟酌，最终决定将内容拆分为多篇文章进行阐述。在此先对CART树进行介绍，因为在GBDT中用于分类与回归任务的树形结构正是基于CART。为了更全面地理解该推荐模型，首先需要夯实基础。在完成CART的讲解后，将进一步介绍XGBoost等集成学习方法，并延伸至GBDT本身，当然也包括Xgboost这一重要分支。确实，这些算法构成了一个庞大的体系，而上述内容仅是其中的一部分。诸如LightGBM、CatBoost等主流算法仍需后续详细说明。

一、CART简介

分类回归树（classification and regression tree, CART）模型最早由Breiman等人于1984年提出，是一种被广泛采用的决策树学习方法。CART模型的构建过程同样包括特征选择、树的生成以及剪枝操作，其应用范围不仅限于分类任务，还可用于回归分析。

该方法的具体实现方式与在算法练习中构建二叉搜索树的过程相似，具体结构如图所示：